复习Hadoop相关知识归纳

Hadoop知识点归纳

版本
hadoop1：是由hdfs 和MapReduce
hadoop2：是由hdfs，MapReduce，yarn三部分构成

hadoop四大组件
hadoop common
功能:用于支持其他模块和其他工具的接口

HDFS
功能：
1.管理存储文件
2.文件数据的读写

架构：主从
主：NameNode
功能：
1.接受客户端的请求
2.负责管理所有的从节点
3.负责管理所有的元数据
从：DataNode
功能：负责实际的数据读写
secondary NameNode :辅助进程
功能:辅助NameNode备份元数据

HDFS上读写过程

写的过程

1.用户操作客户端提交写的请求，那么node检查该客户端client是否有些的权限
2.客户端将用户提供的文件进行分割，默认128M为一块
3.客户端将第一个块写的请求给NameNode
4.NameNode接受客户端请求，NameNode 会返回该数据块存储的dataNode的地址
5.客户端会将离自己最近那台机器上的数据块交给那台DataNode，第一台存储DataNode 会将数据块进行复制给其他两台DataNode
6.DataNode 将存储结果返回给NameNode ,NameNode 记录元数据
7重复上诉操作，知道每个块都存储完成

读取流程

1 客户通过客户端发送读请求
2 客户端请求NameNode，NameNode返回每个块的存储地址
3 客户端从离自己最近的机器上读取每个块，将每个块进行合并成一个文件，返回给客户

启动HDFS命令

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode

关闭命令

sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop datanode

HDFS常用命令

创建文件夹
bin/hdfs dfs -mkdir -p /wordcount/input

上传文件：从Linux到hdfs
bin/hdfs dfs -put /opt/datas/wc.txt /wordcount/input/

下载文件：从hdfs到Linux
bin/hdfs dfs -get /wordcount/input/wc.txt ~/

删除文件
bin/hdfs dfs -rm -r /test

查看文件
bin/hdfs dfs -cat /wordcount/input/wc.txt

分布式资源管理和任务调度yarn

架构主从

主节点：resourcemanager
主要功能：
1.负责接收所有用户的请求
2.负责管理所有的从节点
3.负责资源管理和任务调度

从节点：NodeManager
功能：负责真正的任务执行

MapReduce在Yarn上面执行过程
1.客户通过客户端提交数据处理请求程序
2.客户端将请求提交给

MapReduce五大过程

1.input

首先从hdfs上面读取文件，并将每行数据转为KeyValue键值对的形式，并将所有的KeyValue输出

2.map 任务拆分阶段

将大的任务拆分成多个小的任务，由多个线程并行处理：Map task
Map task对input的输出中的每一个keyvalue进行处理
每一个keyvalue对会调用一次map方法
构建新的KeyValue输出

3.shuffer

排序：对每个keyvalue按照key进行排序
hadoop 1
hadoop 1
hadoop 1
java 1
java 1
hive 1
hive 1

分组：将key相同的value进行合并放入同一个迭代器中，每一个key只出现一次
<hadoop 3>
<java 2>
<hive 2>

4.reduce 任务合并阶段

reduce负责将多个小任务的结果进行合并
每一个shuffle过来的输入，每一种KeyValue调用一次reduce方法
reduce方法中生成新的KeyValue，然后输出

5.output 输出阶段

将reduce的出处写入hdfs变成文件

shuffle过程

map端的shuffle

map阶段处理后的数据进入端的shuffle
每个maptask的数据首先进入环形缓冲区：默认100M
然后更具key的hash值对reduce的个数取余，根据取余的结果标记每一条KeyValue最终会被哪个reduce进行处理
reduce的个数默认为1，可以自定义设置
job.setNumReduceTasks(2)

假如有2个reduce
hadoop 1 0 reduce1
hive 1 1 reduce2
hbase 1 0 reduce1
spark 1 1 reduce2
hadoop 1 0 reduce1
hbase 1 0 reduce1
spark 1 1 reduce2
hbase 1 0 reduce1
hadoop 1 0 reduce1
排序：将相同分区的数据放在一起并按照key进行排序
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hive 1 1 reduce2
spark 1 1 reduce2
spark 1 1 reduce2
溢写小文件：当换乘区的存储数据达到80%，内存中的数据就会溢出，写到磁盘变成多个小文件

file1:
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hive 1 1 reduce2
spark 1 1 reduce2
spark 1 1 reduce2
file2
hadoop 1 0 reduce1
hbase 1 0 reduce1
hive 1 1 reduce2
hive 1 1 reduce2
spark 1 1 reduce2
合并merge，将多个小文件合并成一个大文件
排序，并将相同区分的数据方法哦一起按照Key进行排序
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hive 1 1 reduce2
hive 1 1 reduce2
hive 1 1 reduce2
spark 1 1 reduce2
spark 1 1 reduce2
spark 1 1 reduce2
map端的shuffle结束，或通知APP master，APP master通知reduce

reduce端的shuffle
每个reduce到map task最后的打文件中拉去属于自己那分区数据

map task1：
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hive 1 1 reduce2
hive 1 1 reduce2
hive 1 1 reduce2
spark 1 1 reduce2
spark 1 1 reduce2
spark 1 1 reduce2
map task2
hadoop 1 0 reduce1
spark 1 1 reduce2

			reduce1:
				hadoop		1			0			reduce1
				hadoop		1			0			reduce1
				hadoop		1			0			reduce1
				hadoop		1			0			reduce1
				hbase		1			0			reduce1
				hbase		1			0			reduce1
				hbase		1			0			reduce1
				hbase		1			0			reduce1
				hadoop		1			0			reduce1
				
			reduce2：
				hive		1			1			reduce2
				hive		1			1			reduce2	
				hive		1			1			reduce2
				spark		1			1			reduce2		
				spark		1			1			reduce2
				spark		1			1			reduce2	
				spark		1			1			reduce2

合并merge：将所有从maptask中拿到的数据进行合并
按照key进行排序
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hadoop 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1
hbase 1 0 reduce1

分组：将相同key的value进行合并
reduce1：
hadoop <1,1,1,1>
hbase <1,1,1,1>
reduce2:
hive <1,1,1>
spark <1,1,1,1>