持续分享有用、有价值、精选的优质大数据面试题
致力于打造全网最全的大数据面试专题题库
91、首次启动 HDFS 时，必须对其进行格式化操作的命令？
参考答案：
bin/hdfs namenode -format或者bin/hadoop namenode –format
92、单独启停HDFS 进程命令？
参考答案：
1）启停NameNode
bin/hdfs --daemon start namenode
bin/hdfs --daemon stop namenode
2）启停DataNode
bin/hdfs --daemon start datanode
bin/hdfs --daemon stop datanode
93、NameNode的主要功作用有哪些?
参考答案：
一是管理文件系统文件的元数据信息(包括文件名称、大小、位置、属性、创建时间、修改时间等等)。
二是维护文件到块的对应关系和块到节点的对应关系。
三是维护用户对文件的操作信息(文件的增删改查)。
94、一个datanode 宕机,怎么恢复？
参考答案：
Datanode宕机了后，如果是短暂的宕机，可以实现写好脚本监控，将它启动起来。如果是长时间宕机了，那么datanode上的数据应该已经被备份到其他机器了，那这台datanode就是一台新的datanode了，删除他的所有数据文件和状态文件，重新启动。
95、Hadoop 的 namenode 宕机,怎么解决？
参考答案：
（1）先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了，重启即可。
（2）如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原因修复了。但是最终的解决方案应该是在设计集群的初期就考虑到这个问题，做namenode的HA。
提高容错：
第一种方式是将持久化存储在本地硬盘的文件系统元数据备份。
第二种方式是运行一个辅助的NameNode（Secondary Namenode）。
第三种 zookeeper提供的高可用（ha）机制。
96、hadoop出现文件块丢失怎么处理？
参考答案：
首先需要定位到哪的数据块丢失，可以通过查看日志进行检查和排除，找到文件块丢失的位置后，如果文件不是很重要可以直接删除，然后重新复制到集群上一份即可，如果删除不了，每一个集群都会有备份，需要恢复备份。
97、当hdfs小文件数量过多时，如何合并小文件？
参考答案：
（1）当每个小文件数据量比较小的时候，可以通过命令的方式进行小文件的合并如：
hdfs dfs -cat hdfs://mycluster/logs/*.log | hdfs dfs -appendToFile - hdfs://mycluster/logs/largeFile.log。
（2）当数据量比较大的时候建议使用MR进行小文件的合并。
98、hdfs 常见的数据压缩算法？
参考答案：
（1） Gzip 压缩
（2）Bzip2 压缩
（3）Lzo 压缩
（4）Snappy 压缩
99、有180的文件写入HDFS是先写128M 复制完之后再写52M 还是全部写完再复制？
参考答案：
HDFS上在写入数据的时候，首先会对数据切块，然后从客户端到datanode形成一个管道，在至少将一个文件写入hdfs上后，表示文件写入成功，然后进行复制备份操作，所以是全部写完再复制。
100、为什么会产生YARN，它解决了什么问题？有什么优势？
参考答案：
（1）产生原因
MapReduce存在的问题：
1）JobTracker 单点故障。
2）JobTracker 承受的访问压力大，影响系统的扩展性。
3）不支持MapReduce之外的计算框架，比如Storm、Spark、Flink。
（2）解决的问题
1）yarn 解决了JobTracker 负载过重的问题， 将MR1中JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和ApplicationMaster进程来实现。
2）支持更多的计算框架，MapReduce storm Spark Flink都可以运行在yarn上面。
（3）优势
1）更快地MapReduce计算。
2）对多框架支持。
3）框架升级更容易。
100
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
