HDFS的写数据流程
1.客户端向NameNode请求上传文件
2.NameNode判断是否有这个目录,这个目录下是否有这个文件如果有这个文件则无法上传
3.要传300MB的文件首先 请求上传第一个Block(0-128)
4.返回三个节点的,表示用这三个节点保存数据
5.客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。
6.dn1、 dn2、 dn3逐级应答客户端。
7.客户端开始往 dn1 上传第一个 Block(先从磁盘读取数据放到一个本地内存缓存),以Packet 为单位,dn1收到一个Packet就会传给dn2,dn2传给dn3: dn1每传一个packet 会放入一个应答队列等待应答。
怎么决定三个节点的位置的呢?
是通过就近原则,
就近原则就是比方说
一个机房里有两个集群每个集群都有两个机架,每个机架都有三个节点,当要保存数据的时候
机房,集群,机架,节点相当于一个树形结构
每个节点都相邻1个单位的距离
到达祖先距离的和
机架感知(副本存储节点选择)
第一个选择离自己最近的,如果在客户端的集群外随机选一个
第二个副本位于第一个机架上的随机节点,
第三个副本选择不同机架上的随机节点
读数据
就近原则
DataNode(面试开发重点)
DataNode工作机制
在用start-dfs。sh启动的时候先启动namenode在启动datanode,datanode在启动时先给namenode发起注册请求,namenode收到信息以后,会把注册成功的信息保存到原数据中,之后namenode给datanode回馈收到信息。以后每个周期(一个小时)都会上报所有数据块信息namenode进行核对信息,每三秒发一次信息给namenode告诉自己还活着,当超过十分钟namenode没有收到datanode的信息就判定这个节点死亡
十分钟和三秒配置:
在hdfs-site.xml中重新配置
校验和:
奇偶校验,在每个二进制数据流后加一位,当1的个数是奇数就加1,当1的位数是偶数就加0之后传入datanode里的时候进行校验,当1的个数和最后一位不匹配时,重新传输
怎么判断DataNode掉线的机制
超时时长:10分钟+30秒
公式:2重新检查DataNode过期的间隔时间+10心跳时间
怎么动态添加DataNode新节点
1.首先克隆一台虚拟机配置静态ip,主机名,映射关系(namenode主机上也要加映射关系),物理地址
2.删除data,logs文件
3.之后启动datanode
hadoop-daeom.sh start datanode
4.启动nodemanager
yarn-daeom.sh start nodemanager
5.检验:在50070端口可以看到4个节点
就OK了