大数据存储技术(1)—— Hadoop简介及安装配置

目录

一、Hadoop简介

(一)概念

(二)Hadoop发展历史

(三)Hadoop三大发行版本

(四)Hadoop的优势 

二、Hadoop的组成 

(一)Hadoop1.x和Hadoop2.x的区别​编辑

(二)Hadoop的三种运行模式

(三)HDFS架构概述

(四)YARN架构概述

(五)MapReduce架构概述

(六)大数据技术生态体系 

三、Hadoop安装配置

(一)虚拟机环境准备

(二)安装JDK

(三)安装Hadoop

(四)配置伪分布式Hadoop集群


一、Hadoop简介

(一)概念

1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2、主要解决,海量数据的存储和海量数据的分析计算问题。
3、广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

(二)Hadoop发展历史

1、Lucene框架是Doug Cutting开创的开源软件,用Java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎。

2、2001年年底Lucene成为Apache基金会的一个子项目。
3、对于海量数据的场景,Lucene面对与Google同样的困难,存储数据困难,检索速度慢。
4、学习和模仿Google解决这些问题的办法:微型版Nutch。
5、可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)
        GFS --->HDFS
        Map-Reduce --->MR
        BigTable --->HBase
6、2003-2004年,Google公开了部分GFS和MapReduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。
7、2005年Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。
8、2006年3月份,Map-Reduce和Nutch Distributed File System (NDFS)分别被纳入到Hadoop项目中,Hadoop就此正式诞生,标志着大数据时代来临。
9、名字来源于Doug Cutting儿子的玩具大象,如图。

(三)Hadoop三大发行版本

Hadoop三大发行版本:Apache、Cloudera、Hortonworks。
        Apache版本最原始(最基础)的版本,对于入门学习最好。
        Cloudera在大型互联网企业中用的较多。
        Hortonworks文档较好。
1. Apache Hadoop
官网地址:http://hadoop.apache.org/releases.html
下载地址:https://archive.apache.org/dist/hadoop/common/
2. Cloudera Hadoop 
官网地址:https://www.cloudera.com/downloads/cdh/5-10-0.html
下载地址:http://archive-primary.cloudera.com/cdh5/cdh/5/
(1)2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司,为合作伙伴提供 Hadoop 的商用解决方案,主要是包括支持、咨询服务、培训。
(2)2009 年 Hadoop 的创始人 Doug Cutting 也加盟 Cloudera 公司。Cloudera 产品主要为 CDH,Cloudera Manager,Cloudera Support。
(3)CDH 是 Cloudera 的 Hadoop 发行版,完全开源,比 Apache Hadoop 在兼容性,安全性,稳定性上有所增强。
(4)Cloudera Manager 是集群的软件分发及管理监控平台,可以在几个小时内部署好一个Hadoop 集群,并对集群的节点及服务进行实时监控。Cloudera Support 即是对 Hadoop 的技术支持。
(5)Cloudera 的标价为每年每个节点 4000 美元。Cloudera 开发并贡献了可实时处理大数据的 Impala 项目。
3. Hortonworks Hadoop
官网地址:https://hortonworks.com/products/data-center/hdp/
下载地址:https://hortonworks.com/downloads/#data-platform
(1)2011 年成立的 Hortonworks 是雅虎与硅谷风投公司 Benchmark Capital 合资组建。
(2)公司成立之初就吸纳了大约 25 名至 30 名专门研究 Hadoop 的雅虎工程师,上述工程师均在 2005 年开始协助雅虎开发 Hadoop,贡献了 Hadoop80%的代码。
(3)雅虎工程副总裁、雅虎 Hadoop 开发团队负责人 Eric Baldeschwieler 出任 Hortonworks的首席执行官。
(4)Hortonworks 的主打产品是 Hortonworks Data Platform(HDP),也同样是 100%开源的产品,HDP 除常见的项目外还包括了 Ambari,一款开源的安装和管理系统。
(5)HCatalog,一个元数据管理系统,HCatalog 现已集成到 Facebook 开源的 Hive 中。Hortonworks 的 Stinger 开创性的极大的优化了 Hive 项目。Hortonworks 为入门提供了一个非常好的,易于使用的沙盒。
(6)Hortonworks 开发了很多增强特性并提交至核心主干,这使得 Apache Hadoop 能够在包括 Window Server 和 Windows Azure 在内的 Microsoft Windows 平台上本地运行。定价以集群为基础,每 10 个节点每年为 12500 美元。

(四)Hadoop的优势 

1、高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
2、高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
3、高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
4、高容错性:能够自动将失败的任务重新分配。

二、Hadoop的组成 

(一)Hadoop1.x和Hadoop2.x的区别

(二)Hadoop的三种运行模式

        基于Hadoop进行开发时,Hadoop存在着三种部署方式,分别对应着单机、伪分布式、完全分布式等三种运行模式。
        首先对Hadoop 的组件,均利用XML文件进行配置。core-site.xml 文件用于通用属性配置,hdfs-site.xml 文件用于HDFS 的属性配置,mapred-site.xml文件用于MapReduce 的属性配置,yarn-site.xml用于YARN的属性配置。这些文件都存储在Hadoop安装目录下的etc/hadoop目录中。以上四个配置文件系统都有默认设置,分别保存在share/doc 子目录下的四个XML文件中,如core-defaut.xml等。下面简单介绍下Hadoop的三种运行模式。
1. 单机模式
单机模式是Hadoop的默认模式,不对配置文件进行修改,使用本地文件系统,而不是分布式文件系统。Hadoop不会启动NameNode、 DataNode等守护进程,Map和Reduce任务作为同一个进程的不同部分来执行,所有的程序都运行在单个JVM上。这种模式一般用于对MapReduce程序的逻辑进行调试,确保程序的正确。
2.伪分布式模式
在这种模式下,Hadoop守护进程运行在本地机器上,模拟一个小规模的集群,在一台主机上模拟多主机。 Hadoop启动NameNode、 DataNode 这些守护进程都在同一台机器上运行,是相互独立的Java进程。在这种模式下,Hadoop 使用的是分布式文件系统,各个作业也是独立管理,类似于完全分布式模式,常用来测试开发的Hadoop程序执行是否正确。
3.完全分布式模式
在这种模式下,Hadoop 的守护进程运行在由多台主机搭建的集群上,是生产环境必需的配置模式。在所有的主机上都安装JDK和Hadoop,并组成相互连通的网络,主机间设置SSH免密码登录。
        分布式要启动守护进程,是指使用分布式Hadoop 时,要先启动一些准备程序进程,然后才能使用脚本程序,如 start-dfs.sh、 start-yarm.sh等,而本地模式不需要启动这些守护进程。

Hadoop三种运行模式下的配置文件对比
组件名称配置文件属性名称单机模式伪分布式模式完全分布式模式
Commoncore-site.xmlfs.defaultFsfile:///(默认)hdfs://localhost/hdfs://namenode
HDFShdfs-site.xmldfs.replicationN/A13(默认)
MapReducemapred-site.xmlmapreduce.framework.namelocal(默认)YARNYARN
YARNyarn-site.xml

yarn.resoucemanager.hostname

yarn.nodemanager.auxservice 

N/A

N/A

localhost

mapreduce_shuffle

resoucemanager

mapreduce_shuffle

(三)HDFS架构概述

HDFS (Hadoop Distributed File System)的架构概述,如图所示。

1、NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。
2、DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。
3、Secondary NameNode(2nn):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。

(四)YARN架构概述

YARN架构概述,如图所示。

(五)MapReduce架构概述

MapReduce将计算过程分为两个阶段:Map和 Reduce,如图所示。
1)Map阶段并行处理输入数据
2)Reduce阶段对Map结果进行汇总

(六)大数据技术生态体系 

大数据技术生态体系,如图所示。

 图中涉及的技术名词解释如下:
1、Sqoop:Sqoop 是一款开源的工具,主要用于在 Hadoop、Hive 与传统的数据库(MySql)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中。
2、Flume:Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume 支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
3、Kafka:Kafka 是一种高吞吐量的分布式发布订阅消息系统,有如下特性:
(1)通过 O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以 TB 的消息存储也能够保持长时间的稳定性能。
(2)高吞吐量:即使是非常普通的硬件 Kafka 也可以支持每秒数百万的消息。
(3)支持通过Kafka 服务器和消费机集群来分区消息。
(4)支持 Hadoop 并行数据加载。
4、Storm:Storm 用于“连续计算”,对数据流做连续查询,在计算时就将结果以流的形式输出给用户。
5、Spark:Spark 是当前最流行的开源大数据内存计算框架。可以基于 Hadoop 上存储的大数据进行计算。
6、Spark Streaming:Spark Streaming 是构建在 Spark 上的实时计算框架,它扩展了 Spark 处理大规模流式数据的能力。可批处理和交互式查询,适用于一些需要对历史数据和实时数据进行结合分析的应用场景。
7、Oozie:Oozie 是一个管理 Hadoop 作业(job)的工作流程调度管理系统。
8、Hbase:HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。
9、Hive:Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务进行运行。 其优点是学习成本低,可以通过类 SQL 语句快速实现简单的 MapReduce 统计,不必开发专门的 MapReduce 应用,十分适合数据仓库的统计分析。
10、R 语言:R 是用于统计分析、绘图的语言和操作环境。R 是属于 GNU 系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。
11、Mahout:Apache Mahout 是个可扩展的机器学习和数据挖掘库。
12、ZooKeeper:Zookeeper 是 Google 的 Chubby 一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等。ZooKeeper 的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

三、Hadoop安装配置

(一)虚拟机环境准备

1、安装Linux虚拟机
可参考博客:大数据软件基础(3) —— 在VMware上安装Linux集群-CSDN博客

2、修改虚拟机的静态IP

(1)打开“虚拟网络编辑器”,选择“NAT模式”,查看“子网IP”和“子网掩码”。

(2) 修改静态IP,注意不同虚拟机IP地址不同。如下设置。

点击“应用”后,关闭有线连接,再次重新打开。

重新在终端输入如下命令,查看IP地址是否变化。

ifconfig ens33

 3、修改主机名

hostnamectl set-hostname bigdata

重新打开一个终端,查看主机名是否更改成功。

输入命令,并修改文件,输入自己的IP地址和主机名。

[root@bigdata zhc]# vi /etc/hosts

在终端ping一下IP地址,按“Ctrl+C”终止。 

4、关闭防火墙

分别输入如下命令:

[root@bigdata zhc]# systemctl status firewalld.service    #查看防火墙状态
[root@bigdata zhc]# systemctl stop firewalld.service      #关闭防火墙 
[root@bigdata zhc]# systemctl disable firewalld.service   #永久关闭防火墙

 出现如下图状态,则关闭成功。

[root@bigdata zhc]# getenforce
Enforcing
[root@bigdata zhc]# vi /etc/selinux/config

5、配置用户免密登录

[root@bigdata zhc]# ssh-keygen
[root@bigdata zhc]# ssh-copy-id bigdata

(二)安装JDK

1、新建文件夹

[root@bigdata zhc]# mkdir /usr/local/servers
[root@bigdata zhc]# mkdir /usr/local/uploads

2、下载jdk安装包,jdk-8u281-linux-x64.tar.gz。(我这里下的是jdk-1.8版本)
https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html

3、通过WinSCP上传到虚拟机“/usr/local/uploads”目录下。

 4、将jdk安装包解压到“/usr/local/servers”目录下。

[root@bigdata local]# cd uploads
[root@bigdata uploads]# tar -zxvf jdk-8u281-linux-x64.tar.gz -C /usr/local/servers

5、到“/usr/local/servers”路径下,更改“jdk1.8.0_281”目录名为“jdk”。

[root@bigdata uploads]# cd /usr/local/servers
[root@bigdata servers]# mv jdk1.8.0_281/ jdk

6、修改全局配置文件“/etc/profile”,在文件最后增加如下一段代码:

if [ -n "${BASH_VERSION-}" ] ; then
        if [ -f /etc/bashrc ] ; then
                # Bash login shells run only /etc/profile
                # Bash non-login shells run only /etc/bashrc
                # Check for double sourcing is done in /etc/bashrc.
                . /etc/bashrc
       fi
fi

export JAVA_HOME=/usr/local/servers/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/servers/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export ZK_HOME=/usr/local/servers/zookeeper
export PATH=$PATH:$ZK_HOME/bin

export HBASE_HOME=/usr/local/servers/hbase
export PATH=$PATH:$HBASE_HOME/bin
export CLASSPATH=$CLASSPATH:$HBASE_HOME/lib

 然后使文件生效,并查看当前jdk版本。

[root@bigdata servers]# source /etc/profile
[root@bigdata servers]# java -version

(三)安装Hadoop

1、到Hadoop官网下载安装包:https://hadoop.apache.org/release/3.1.3.html

2、将“hadoop-3.1.3.tar.gz”安装包上传到虚拟机,“/usr/local/uploads”目录下。

 3、将hadoop安装包解压到“/usr/local/servers”目录下。

[root@bigdata servers]# cd /usr/local/uploads
[root@bigdata uploads]# tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local/servers

 4、到“/usr/local/servers”路径下,将“hadoop-3.1.3”目录名改为“hadoop”。并使全局配置文件“/etc/profile”生效。

[root@bigdata uploads]# cd ../servers
[root@bigdata servers]# mv hadoop-3.1.3/ hadoop
[root@bigdata servers]# vi /etc/profile
[root@bigdata servers]# source /etc/profile

查看hadoop版本,说明安装成功。

[root@bigdata servers]# hadoop version

(四)配置伪分布式Hadoop集群

1、先切换到“/usr/local/servers/hadoop/etc/hadoop”目录下,查看hadoop的配置文件。

[root@bigdata servers]# cd /hadoop/etc/hadoop

2、配置hadoop-env.sh文件,在文件最后加入如下代码:

[root@bigdata hadoop]# vi hadoop-env.sh
###
# Registry DNS specific parameters
###
# For privileged registry DNS, user to run as after dropping privileges
# This will replace the hadoop.id.str Java property in secure mode.
# export HADOOP_REGISTRYDNS_SECURE_USER=yarn

# Supplemental options for privileged registry DNS
# By default, Hadoop uses jsvc which needs to know to launch a
# server jvm.
# export HADOOP_REGISTRYDNS_SECURE_EXTRA_OPTS="-jvm server"

export JAVA_HOME=/usr/local/servers/jdk
#HADOOP_SHELL_EXECNAME=root
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

3、配置core-site.xml文件,在两个<configuration> 标签中间加入如下代码:

[root@bigdata hadoop]# vi core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/servers/hadoop/tmp</value> 
    </property>
</configuration>

4、配置hdfs-site.xml文件, 在两个<configuration> 标签中间加入如下代码:

[root@bigdata hadoop]# vi hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>${hadoop.tmp.dir}/nndata</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>${hadoop.tmp.dir}/dndata</value>
    </property>
</configuration>

5、配置yarn-site.xml文件,在两个<configuration> 标签中间加入如下代码:

[root@bigdata hadoop]# vi yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
  <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>localhost</value>

  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>${yarn.resourcemanager.hostname}:8088</value>
  </property>
  <property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
  </property>
  <property>
         <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
  </property>
  <property>
      <name>yarn.application.classpath</name> 
      <value> 	     
          ${HADOOP_HOME}/etc/hadoop/conf,
          ${HADOOP_HOME}/share/hadoop/common/lib/*,
          ${HADOOP_HOME}/share/hadoop/common/*,
          ${HADOOP_HOME}/share/hadoop/hdfs,
          ${HADOOP_HOME}/share/hadoop/hdfs/lib/*,
          ${HADOOP_HOME}/share/hadoop/hdfs/*,
          ${HADOOP_HOME}/share/hadoop/mapreduce/*,
          ${HADOOP_HOME}/hadoop/yarn,
          ${HADOOP_HOME}/share/hadoop/yarn/lib/*,
          ${HADOOP_HOME}/share/hadoop/yarn/*
      </value>
  </property>
</configuration>

6、配置mapred-site.xml,在两个<configuration> 标签中间加入如下代码:

[root@bigdata hadoop]# vi mapred-site.xml
<configuration>
    <property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
    </property>
</configuration>

 7、创建目录“/usr/local/servers/hadoop/tmp”,代表临时根目录。

[root@bigdata hadoop]# mkdir /usr/local/servers/hadoop/tmp
[root@bigdata hadoop]# mkdir /usr/local/servers/hadoop/tmp/nndata
[root@bigdata hadoop]# mkdir /usr/local/servers/hadoop/tmp/dndata

8、格式化Hadoop的分布式文件系统。

[root@bigdata hadoop]# hdfs namenode -format

找到如下信息则表示格式化成功:

 9、分别启动hadoop和yarn进程

[root@bigdata hadoop]# start-dfs.sh
[root@bigdata hadoop]# start-yarn.sh

一共启动了5个进程,分别是NameNode、DataNode、SecondaryNameNode、ResourceManager和NodeManager。 

提示:安装好Hadoop集群后,可以给虚拟机做个快照,作用是快速的系统备份与还原的功能。
点击“虚拟机-快照-拍摄快照” ,即可完成。

 

10、在虚拟机的Firefox浏览器上输入:http://bigdata:9870(这里的bigdata是自己的机器名)

这样伪分布式Hadoop集群就搭建好了。

友情提醒:关闭虚拟机电源前,要先关闭Hadoop集群,不然下次使用时会导致节点丢失!

  • 46
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Francek Chen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值