Hadoop面试问题

简单Hadoop面试问题

什么是Hadoop

• Hadoop是一个能够对大量数据进行分布式处理的软件框架。以一种可靠、高效、可伸缩的方式进行数据处理

介绍一下MapReduce的Shuffle过程，并给出Hadoop优化的方案(包括：压缩、小文件、集群的优化)

• Map方法之后Reduce方法之前这段处理过程叫「Shuffle」
• Map方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小100m，环形缓冲区达到80%时，进行溢写；
  溢写前对数据进行排序，排序按照对key的索引进行字典顺序排序，排序的手段「快排」；溢写产生大量溢写文件，需要对溢写文件进行「归并排序」；
  对溢写的文件也可以进行Combiner操作，前提是汇总操作，求平均值不行。最后将文件按照分区存储到磁盘，等待Reduce端拉取。
• 每个Reduce拉取Map端对应分区的数据。拉取数据后先存储到内存中，内存不够了，再存储到磁盘。拉取完所有数据后，采用归并排序将内存和磁盘中的数据都进行排序。
  在进入Reduce方法前，可以对数据进行分组操作。

请介绍一下hadoop的HDFS

• HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；
  其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS 的使用场景：
  适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

Hadoop生态圈的组件并做简要描述

• Zookeeper： 是一个开源的分布式协调服务框架，为分布式系统提供一致性服务。基于zookeeper可以实现数据同步（数据发布/订阅），统计配置，命名服务。
• Flume：是一个分布式的海量日志采集、聚合和传输的系统。
• Hbase：是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统。
• Hive：基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张数据库表，并提供简单的sql 查询功能，可以将sql语句转换为MapReduce任务进行运行。
• Sqoop：将一个关系型数据库中的数据导进到Hadoop的 HDFS中，也可以将HDFS的数据导进到关系 型数据库中。