1、hdfs架构是什么架构?
hdfs架构为主/从架构,管理者Namenode和工作者Datanode。
2、hdfs哪些进程?
总共有三个进程:Namenode、Datanode和Secondarynamenode
3、hdfs dfs等价与什么命令?
hdsf dfs等价于hadoop fs
4、hdfs的NN节点是做什么的?
管理文件系统的命名空间。维护着文件系统书以及整棵树内所有的文件和目录
5、DN是做什么的?
负责数据块和数据块校验和
6、SNN是做什么的?
定期合并fsimage+editlog文件为新的fsimage,推送给namenode,俗称检查点动作,checkpoint
7、副本放置策略是什么?
第一副本放置在上传文件的Datanode节点上,第二副本放在不同机架上,第三副本放在第二副本相同机架但不同的节点处。如果还有更多副本,则随机放在其他节点上
8、hdfs读和写的流程是什么?谁是output,谁是input?
hdfs读是input,写是output
文件读流程:
- Client通过FileSystem.open(filepath)方法,去与Namenode进行通信,返回该文件的部分或全部block列表(也包含该列表各block的分布在Datanode地址的列表),也就是返回FSDataInputStream对象;
- Client调用FSDataInputStream对象的read()方法:a.去与第一个块最近的Datanode进行read(),读取完成后,会check,加入则successful,会关闭与当前Datanode通信;(假如check fail,会记录失败的块和Datanode信息,下次就不会读取;那么回去该块的第二个Datanode地址读取) b.然后去第二个块的最近的Datanode上进行读取,check后,关闭此Datanode的通信;c.假如block列表读取完了,文件还未结束,那么FileSystem会从Namenode获取下一批的block的列表。(读操作对于Client端是透明的,感觉就是连续的数据流)
- Client调用FSDataInputStream.close()方法,关闭输入流。
文件写流程:
- Client调用FileSystem.create(filepath)方法,去与Namenode进行rpc通信,check该路径的文件是否存在以及有没有权限创建该文件,假如可以,就创建一个空的新文件,但是并不关联任何block,返回一个FSDataOutputStream对象;(假如不可以创建,就返回错误信息,一般代码要带有try-catch去捕捉异常)
- Client调用FSDataOutputStream对象的writer()方法,会将第一个快写入第一个Datanode,第一个Datanode写完传给第二个节点,第二个写完传给第三个节点,当第三个节点写完返回一个ack packet给第二个节点,第二个返回一个ack packet给第一个节点,第一个节点返回ack packet给FSDataOutputStream对象,表示第一个块写完,副本数为3;
- 剩余的块依次写;
- 当文件写入数据完成后,Client调用FSDataOutputStream.close()方法,关闭输入流,flush缓存区的数据包;
- 在调用FileSystem.complete()方法,告诉Namenode节点写入成功。
9、来谈谈jps的理解?
jps用来显示jvm进程,一般hadoop的组件进程都是java进程。jps显示的内容是读取/tmp文件夹下hsperfdata开头的文件夹,里面有进程和进程对应的pid信息。
10、来谈谈pid的理解?
pid的文件也是保存在/tmp目录下,linux文件的/tmp目录是默认一个月删除一次的,所以如果做长期测试,那么要么修改Linux系统要么修改软件默认pid缓存地址,一般选择后者。对于hadoop集群来说,删除了pid文件,虽然说对现有的运行没有影响,但是当停止的时候,可能会出现进程残留等情况,下次启动时可能启动不了,不利于集群维护。