2020Java面试大数据常见面试题+参考答案总结

技术面试题

1.Hadoop中有哪些组件？

Hadoop=HDFS+Yarn+MapReduce+Hive+Hbase+…

1).HDFS:分布式文件存储系统

• 主：namenode,secondarynamenode
• 从：datanode

2).Yarn:分布式资源管理系统，用于同一管理集群中的资源（内存等）

• 主：ResourceManager
• 从：NodeManager

3).MapReduce:Hadoop的计算框架，用map和reduce方式实现数据的全局汇总

4).Zookeeper：分布式协调服务，用于维护集群配置的一致性、任务提交的事物性、集群中服务的地址管理、集群管理等

• 主：QuorumPeerMain
• 从：QuorumPeerMain

5).Hbase:Hadoop下的分布式数据库，类似于NoSQL

• 主：HMaster,HRegionserver,Region

7).Hive:分布式数据仓库，其实说白了就是一个数据分析工具，底层用的还是MapReduce

8).Sqoop:用于将传统数据库中数据导入到hbase或者Hdfs中一个导入工具

9).Spark:基于内存的分布式处理框架

• 主：Master
• 从：Worker

2.Hdfs中角色有哪些？

• NameNode：