Hadoop学习日记
--------------------------------------------------------------------------------------------------------------------------、
1.1Hadoop的优势(4高)
- 高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
- 高扩展性:在集群间分配任务数据,可方便的扩张数以千计的节点。
- 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理的速度。
- 高容错性:能够自动将失败的任务重新分配
1.2标题Hadoop组成
1.2.1HDFS架构概述
- NameNode(nn):存储文件的元数据:如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块儿所在的DataNode等。
- DataNode(dn):在本地文件系统存储文件块儿数据,以及块儿数据的校验和。
- Secondary NameNode(2nm):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。(如果nn挂了,2nn无法直接代替nn的作用)
1.2.2YARN架构概述
Resource Manager 和Node Mannager 是常住节点。
ApplicationMaster 和 Contanier 是非常住节点。有任务才出现。
1.2.3MapReduce架构概述
MapReduce将计算过程分为两个阶段:Map和Reduce
- Map阶段并行处理输入数据
- Reduce阶段对Map结果进行汇总
1.3大数据技术生态体系
- Sqoop:Sqoop是一款开源的工具,主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
- Flume:Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
- Kafka:Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性:
(1)通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
(2)高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。
(3)支持通过Kafka服务器和消费机集群来分区消息。
(4)支持Hadoop并行数据加载。 - Storm:Storm用于“连续计算”,对数据流做连续查询,在计算时就将结果以流的形式输出给用户。
- Spark:Spark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
- Oozie:Oozie是一个管理Hdoop作业(job)的工作流程调度管理系统。
- Hive:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
- Hbase:HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。
- R语言:R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。
- Mahout:Apache Mahout是个可扩展的机器学习和数据挖掘库。
- ZooKeeper:Zookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
1.4虚拟机环境搭建
-
安装java 和 hadoop
hadoop目录结构
(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
(4)sbin目录:存放启动或停止Hadoop相关服务的脚本
(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例 -
配置环境变量
注:设置为全局变量:export
vim /etc/profile
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
- 让环境变量生效
source /etc/profile
1.5Hadoop运行模式
1.5.1本地模式部署
1.5.1.1本地模式介绍
本地模式是最简单的模式,所有模块都运行与一个JVM进程中,使用的本地文件系统,而不是HDFS,本地模式主要是用于本地开发过程中的运行调试用。下载hadoop安装包后不用任何设置,默认的就是本地模式。
1.5.1.2解压hadoop后就是直接可以使用
1.5.1.3运行MapReduce程序,验证
我们这里用hadoop自带的wordcount例子来在本地模式下测试跑mapreduce。
- 准备mapreduce输入文件wc.input
[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
- 运行hadoop自带的mapreduce Demo
[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2
这里可以看到job ID中有local字样,说明是运行在本地模式下的。
- 查看输出文件
本地模式下,mapreduce的输出是输出到本地。
[hadoop@bigdata-senior01 hadoopstandalone]$ ll output2
total 4
-rw-r--r-- 1 hadoop hadoop 60 Jul 7 12:50 part-r-00000
-rw-r--r-- 1 hadoop hadoop 0 Jul 7 12:50 _SUCCESS
输出目录中有_SUCCESS文件说明JOB运行成功,part-r-00000是输出结果文件。
1.5.2伪分布式Hadoop部署过程
1.5.2.1启动HDFS并运行MapReduce程序
1.5.2.1.1配置core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://ysy100:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
注意:
(1) fs.defaultFS参数配置的是HDFS的地址。
(2) hadoop.tmp.dir配置的是Hadoop临时目录,比如HDFS的NameNode数据默认都存放这个目录下,查看*-default.xml等默认配置文件,就可以看到很多依赖${hadoop.tmp.dir}的配置。
默认的hadoop.tmp.dir是/tmp/hadoop-${user.name},此时有个问题就是NameNode会将HDFS的元数据存储在这个/tmp目录下,如果操作系统重启了,系统会清空/tmp目录下的东西,导致NameNode元数据丢失,是个非常严重的问题,所有我们应该修改这个路径。
1.5.2.1.2配置:hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
注意:
dfs.replication配置的是HDFS存储时的备份数量,因为这里是伪分布式环境只有一个节点,所以这里设置为1。
默认 value 为3个
1.5.2.1.3格式化HDFS
[hadoop@bigdata-senior01 ~]$ hdfs namenode –format
格式化是对HDFS这个分布式文件系统中的DataNode进行分块,统计所有分块后的初始元数据的存储在NameNode中。
格式化后,查看core-site.xml里hadoop.tmp.dir(本例是/opt/data目录)指定的目录下是否有了dfs目录,如果有,说明格式化成功。
注意:
- 格式化前先重启,配置的core-site.xml和hdfs-site.xml才生效。
- 查看NameNode格式化后的目录。
[hadoop@bigdata-senior01 ~]$ ll 格式化目录所在路径
(1)fsimage是NameNode元数据在内存满了后,持久化保存到的文件。
(2)fsimage*.md5 是校验文件,用于校验fsimage的完整性。
(3)seen_txid 是hadoop的版本
(4)vession文件里保存:
namespaceID:NameNode的唯一ID。
clusterID:集群ID,NameNode和DataNode的集群ID应该一致,表明是一个集群。
- 为什么不能一直格式化NameNode,格式化NameNode,要注意什么?
namenode
[root@ysy100 current]# cat VERSION
#Sat Jun 27 15:15:44 CST 2020
namespaceID=1883567005
clusterID=CID-0b20f54c-f134-4c59-be07-d09e8e8d45aa
cTime=0
storageType=NAME_NODE
blockpoolID=BP-404211597-192.168.182.128-1593242144299
layoutVersion=-63
datanode
[root@ysy100 current]# cat VERSION
#Sat Jun 27 15:40:54 CST 2020
storageID=DS-d734caa8-36bf-4245-ba66-93d8080ded68
clusterID=CID-0b20f54c-f134-4c59-be07-d09e8e8d45aa
cTime=0
datanodeUuid=986fc91f-b8b5-4caa-a27a-4f7391101f6f
storageType=DATA_NODE
layoutVersion=-56
注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。所以,格式NameNode时,一定要先删除data数据和log日志,然后再格式化NameNode。
1.5.2.1.3启动NameNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
或者
[hadoop@bigdata-senior01 hadoop-2.5.0]$ hadoop-daemon.sh start namenode
1.5.2.1.4启动DataNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
或者
[hadoop@bigdata-senior01 hadoop-2.5.0]$ hadoop-daemon.sh start datanode
1.5.2.1.5启动SecondaryNameNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
或者
[hadoop@bigdata-senior01 hadoop-2.5.0]$ hadoop-daemon.sh start secondarynamenode
1.5.2.2启动YARN并运行MapReduce程序
1.5.2.2.1配置mapred-site.xml
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
1.5.2.2.2配置yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
1.5.2.2.3配置:mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
1.5.2.2.4配置: (对mapred-site.xml.template重新命名为) mapred-site.xml
注意:默认没有mapred-site.xml文件,但是有个mapred-site.xml.template配置模板文件。复制模板生成mapred-site.xml。
[root@ysy100 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[root@ysy100 hadoop]$ vi mapred-site.xml
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
注意:启动前必须保证NameNode和DataNode已经启动
1.5.2.2.5启动Resourcemanager
[root@ysy100 hadoop]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
1.5.2.2.6启动nodemanager
[root@ysy100 hadoop]${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
1.5.2.2.7查看是否启动成功
[root@ysy100 hadoop]$ jps
4791 ResourceManager
5144 Jps
3420 NameNode
3596 DataNode
5103 NodeManager
1.5.2.2.8将文件上传至hdfs的根目录
[root@ysy100 hadoop-2.7.2]$ hadoop fs -put wcinput /
或者
[root@ysy100 hadoop-2.7.2]$ bin/hdfs dfs -put wcinput/wc.input /wcinput
1.5.2.2.9执行MapReduce程序
[root@ysy100 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /wcinput /wcoutput
注:向RM申请资源
1.5.2.3完全分布式安装
1.5.2.3.1服务器功能规划
ysy101 | ysy102 | ysy103 | |
---|---|---|---|
HDFS | NameNode | SecondaryNameNode | |
HDFS | DataNode | DataNode | DataNode |
YARN | NodeManager | ResourceManager | NodeManager |
NodeManager |
1.5.2.3.2配置Hadoop JDK路径修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路径:
export JAVA_HOME=/opt/module/jdk1.8.0_144
1.5.2.3.3配置core-site.xml
[root@ysy100 hadoop-2.7.2]$ vim etc/hadoop/core-site.xml