【hadoop_读写流程】

14_hadoop

补充：
解决 linux 网卡丢失问题：

service NetworkManager stop
chkconfig NetworkManager off
重启网络
systemctl restart network

1.HDFS写流程 必会技能（面试可能会问）
操作：
hadoop fs -put ./wc.data /
hadoop fs -ls /
HDFS内部操作步骤：三大步
第一步：
client 调用FileSystem.crete(filepath)和老大进行【RPC】通信
nn会去检查这个路径的文件是否已经存在，是否有权限能够创建这个文件，
此时，任然没有写数据，不关联任何的block块

            老大nn需要根据上传的文件的大小，块大小，和副本数
            来计算要上传多少块和块存储在dn上的位置返回给客户端的【FSdataOutputStream】。
    

第二步：
          客户端Client调用【FSdataOutputStream】对象
            的write方法
            将第一个代码块的第一个副本写在DN节点
            写完去第二个DN节点写第二个副本
             依次类推，当第三个副本写完就返回一个 ack package确认包给DN2节点，
             当DN2节点接收到确认包再等自己写完，就返回一个ack package确认包给DN1
            节点，DN1节点收到确认包，在等自己写完࿰