DataNode作用
1、执行数据的读写(响应的是客户端)
2、周期性向NameNode做汇报(数据块的信息、校验和)
若datanode 10分钟没有向NameNode做汇报,表示已丢失(已宕机)
心跳周期 3秒 3、执行流水线的复制(一点一点复制)
机架感知
实际上需要工程师收到创建一个脚本(python sh ),脚本中记录主机IP和交换机的对应关系。
配置的位置是core-site.xml 最终添加如下配置
topology.script.file.name
/home/bigdata/apps/hadoop/etc/hadoop/RackAware.py
RPC 指的是 远程过程调用。是集群中多个组件、多个模块进行数据通信的一种方式。
HDFS数据写入流程(重点)
1、 client发起文件上传请求,通过RPC与NameNode建立通讯,NameNode检查目标文件是否已存在,父目录是否
存在,返回是否可以上传;