关于Hadoop的一些面试题

最新推荐文章于 2024-09-18 20:52:30 发布

ll_xiaobai

最新推荐文章于 2024-09-18 20:52:30 发布

阅读量376

点赞数

本文链接：https://blog.csdn.net/ch_axiaobai/article/details/103338071

版权

本文详细解答了关于Hadoop的面试题目，涵盖了Hadoop集群的SafeMode模式、Hive的理解、在Windows上运行Hadoop的可能性、MapReduce处理任务的基本流程、TextInputFormat的文件切分方法、Namenode无数据的影响、服务器间免密登录的实现、MapReduce的局限性、基本数据类型、Hive的内部表与外部表区别、YARN组件及调度器、群起Namenode的配置、Shuffle过程中的环形缓冲区作用、MapReduce执行前的准备、Hive分区表概念、hdfs-site.xml关键属性、完全分布式模式注意事项、Hadoop运行模式、Combiner的意义、Shell脚本求极值、WordCount MapReduce示例、HQL语句编写以及常用HDFS命令等关键知识点。

摘要由CSDN通过智能技术生成

1.简单描述你对Hadoop集群SafeMode模式的理解？

**
集群处于安全模式，不能执行重要操作（写操作），集群属于只读状态。但是严格来说，只是保证HDFS元数据信息的访问，而不保证文件的访问。集群启动完成后，自动退出安全模式，如果集群处于安全模式，想要完成写操作，需要离开安全模式。（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态）（2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式状态）（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式状态）（4）bin/hdfs dfsadmin -safemode wait （功能描述：等待安全模式状态）。对于全新创建的HDFS集群，NameNode启动后不会进入安全模式，因为没有Block信息。

2.什么是hive，谈谈你的理解?

**
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。补充 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Yarn上

3.是否可以在Windows上运行Hadoop？

**
你最好不要这么做，Red Hat Linux或者是Ubuntu才是Hadoop的最佳操作系统。在Hadoop安装中，Windows通常不会被使用，因为会出现各种各样的问题。因此，Windows绝对不是Hadoop的推荐系统。

4.在MapReduce处理任务时，简单描述经过哪节基本流程？

**
见hadoop课件mapreduce流程图

5.简答描述以下TextInputFormat怎么进行文件切分？

**
TextInputFormat根据文件大小将文件拆分成splits，如果单个文件较小，则每个个文件为一个split，并将文件按行分割形成<key,value>对，如果单个文件较大。超过block块默认大小得1.1倍，则会将文件切分为多个split。这一步由MapReduce框架自动完成，其中偏移量包括了回车所占的字符数。将分割好的<key,value>对交给用户定义的map方法进行处理，生成新的<key,value>对。得到map方法输出的<key,value>对后，Mapper会将它们按照key值进行排序，并执行Combine过程，将key至相同value值累加，得到Mapper的最终输出结果。Reducer先对从Mapper接收的数据进行排序，再交由用户自定义的reduce方法进行处理，得到新的<key,value>对，并作为任务的输出结果。