HDFS面试题

HDFS的写数据流程

1.客户端向NameNode请求上传文件
2.NameNode判断是否有这个目录，这个目录下是否有这个文件如果有这个文件则无法上传
3.要传300MB的文件首先 请求上传第一个Block（0-128）
4.返回三个节点的，表示用这三个节点保存数据
5.客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2,然后dn2调用dn3，将这个通信管道建立完成。
6.dn1、 dn2、 dn3逐级应答客户端。
7.客户端开始往 dn1 上传第一个 Block（先从磁盘读取数据放到一个本地内存缓存)，以Packet 为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3: dn1每传一个packet 会放入一个应答队列等待应答。
怎么决定三个节点的位置的呢？
是通过就近原则，
就近原则就是比方说
一个机房里有两个集群每个集群都有两个机架，每个机架都有三个节点，当要保存数据的时候
机房，集群，机架，节点相当于一个树形结构
每个节点都相邻1个单位的距离
到达祖先距离的和

机架感知（副本存储节点选择）

第一个选择离自己最近的，如果在客户端的集群外随机选一个
第二个副本位于第一个机架上的随机节点，
第三个副本选择不同机架上的随机节点

读数据

就近原则

DataNode(面试开发重点)

DataNode工作机制

在用start-dfs。sh启动的时候先启动namenode在启动datanode，datanode在启动时先给namenode发起注册请求，namenode收到信息以后，会把注册成功的信息保存到原数据中，之后namenode给datanode回馈收到信息。以后每个周期（一个小时）都会上报所有数据块信息namenode进行核对信息，每三秒发一次信息给namenode告诉自己还活着，当超过十分钟namenode没有收到datanode的信息就判定这个节点死亡
十分钟和三秒配置：
在hdfs-site.xml中重新配置

校验和：

奇偶校验，在每个二进制数据流后加一位，当1的个数是奇数就加1，当1的位数是偶数就加0之后传入datanode里的时候进行校验，当1的个数和最后一位不匹配时，重新传输

怎么判断DataNode掉线的机制

超时时长：10分钟+30秒
公式：2重新检查DataNode过期的间隔时间+10心跳时间

怎么动态添加DataNode新节点

1.首先克隆一台虚拟机配置静态ip，主机名，映射关系（namenode主机上也要加映射关系），物理地址
2.删除data，logs文件
3.之后启动datanode
hadoop-daeom.sh start datanode
4.启动nodemanager
yarn-daeom.sh start nodemanager
5.检验：在50070端口可以看到4个节点
就OK了