Hadoop知识点归纳
版本
hadoop1:是由hdfs 和MapReduce
hadoop2:是由hdfs,MapReduce,yarn三部分构成
hadoop四大组件
hadoop common
功能:用于支持其他模块和其他工具的接口
HDFS
功能:
1.管理存储文件
2.文件数据的读写
架构:主从
主:NameNode
功能:
1.接受客户端的请求
2.负责管理所有的从节点
3.负责管理所有的元数据
从:DataNode
功能:负责实际的数据读写
secondary NameNode :辅助进程
功能:辅助NameNode备份元数据
HDFS上读写过程
写的过程
1.用户操作客户端提交写的请求,那么node检查该客户端client是否有些的权限
2.客户端将用户提供的文件进行分割,默认128M为一块
3.客户端将第一个块写的请求给NameNode
4.NameNode接受客户端请求,NameNode 会返回该数据块存储的dataNode的地址
5.客户端会将离自己最近那台机器上的数据块交给那台DataNode,第一台存储DataNode 会将数据块进行复制给其他两台DataNode
6.DataNode 将存储结果返回给NameNode ,NameNode 记录元数据
7重复上诉操作,知道每个块都存储完成
读取流程
1 客户通过客户端发送读请求
2 客