若泽数据-早课（2018/6/4）

1、hdfs架构是什么架构？

    hdfs架构为主/从架构，管理者Namenode和工作者Datanode。

2、hdfs哪些进程？

    总共有三个进程：Namenode、Datanode和Secondarynamenode

3、hdfs dfs等价与什么命令？

    hdsf dfs等价于hadoop fs

4、hdfs的NN节点是做什么的？

    管理文件系统的命名空间。维护着文件系统书以及整棵树内所有的文件和目录

5、DN是做什么的？

    负责数据块和数据块校验和

6、SNN是做什么的？

    定期合并fsimage+editlog文件为新的fsimage，推送给namenode，俗称检查点动作，checkpoint

7、副本放置策略是什么？

    第一副本放置在上传文件的Datanode节点上，第二副本放在不同机架上，第三副本放在第二副本相同机架但不同的节点处。如果还有更多副本，则随机放在其他节点上

8、hdfs读和写的流程是什么?谁是output，谁是input？

    hdfs读是input，写是output

    文件读流程：

1. Client通过FileSystem.open(filepath)方法，去与Namenode进行通信，返回该文件的部分或全部block列表（也包含该列表各block的分布在Datanode地址的列表），也就是返回FSDataInputStream对象；
2. Client调用FSDataInputStream对象的read()方法：a.去与第一个块最近的Datanode进行read()，读取完成后，会check，加入则successful，会关闭与当前Datanode通信；（假如check fail，会记录失败的块和Datanode信息，下次就不会读取；那么回去该块的第二个Datanode地址读取） b.然后去第二个块的最近的Datanode上进行读取，check后，关闭此Datanode的通信；c.假如block列表读取完了，文件还未结束，那么FileSystem会从Namenode获取下一批的block的列表。（读操作对于Client端是透明的，感觉就是连续的数据流）
3. Client调用FSDataInputStream.close()方法，关闭输入流。

    文件写流程：

1. Client调用FileSystem.create(filepath)方法，去与Namenode进行rpc通信，check该路径的文件是否存在以及有没有权限创建该文件，假如可以，就创建一个空的新文件，但是并不关联任何block，返回一个FSDataOutputStream对象；（假如不可以创建，就返回错误信息，一般代码要带有try-catch去捕捉异常）
2. Client调用FSDataOutputStream对象的writer()方法，会将第一个快写入第一个Datanode，第一个Datanode写完传给第二个节点，第二个写完传给第三个节点，当第三个节点写完返回一个ack packet给第二个节点，第二个返回一个ack packet给第一个节点，第一个节点返回ack packet给FSDataOutputStream对象，表示第一个块写完，副本数为3；
3. 剩余的块依次写；
4. 当文件写入数据完成后，Client调用FSDataOutputStream.close()方法，关闭输入流，flush缓存区的数据包；
5. 在调用FileSystem.complete()方法，告诉Namenode节点写入成功。

9、来谈谈jps的理解？

    jps用来显示jvm进程，一般hadoop的组件进程都是java进程。jps显示的内容是读取/tmp文件夹下hsperfdata开头的文件夹，里面有进程和进程对应的pid信息。

10、来谈谈pid的理解？

    pid的文件也是保存在/tmp目录下，linux文件的/tmp目录是默认一个月删除一次的，所以如果做长期测试，那么要么修改Linux系统要么修改软件默认pid缓存地址，一般选择后者。对于hadoop集群来说，删除了pid文件，虽然说对现有的运行没有影响，但是当停止的时候，可能会出现进程残留等情况，下次启动时可能启动不了，不利于集群维护。