Hadoop的一些总结

1.Hadoop常用端口号

dfs.namenode.http-address:50070
dfs.datanode.http-address:50075
SecondaryNameNode 辅助名称节点端口号：50090
dfs.datanode.address:50010
fs.defaultFS:8020 或者 9000
yarn.resourcemanager.webapp.address:8088
历史服务器 web 访问端口：19888

2.Hadoop 配置文件以及简单的 Hadoop 集群搭建

（1）配置文件：
core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
hadoop-env.sh、yarn-env.sh、mapred-env.sh、slaves

（2）简单的集群搭建过程：
JDK 安装
配置 SSH 免密登录
配置 hadoop 核心文件:
格式化 namenode

3.HDFS的读流程和写流程

读流程
1 向NameNode请求下载文件
2 NameNode返回目标文件的元数据
3 向各DataNode请求读数据以及传输数据回来
写流程
1 向NamNode请求上传文件
2 Name Node响应可以上传文件
3 请求上传第一个block，请返回DataNode
4 返回各dn节点
5 从第一个dn结点开始链式建立block通道并确认各节点应答成功
6 传输数据Packet
7 向元数据发信数据传输完成

• MapReduce 的 Shuffle 过程及 Hadoop 优化 （包括：压缩、 小文件 、 集群优化 ）

• MapReduce详细工作流程
  1 待处理文本
  2 客户端submit（）前，获取待处理数据的信息，然后根据参数配置，形成一个任务分配的规划
  3 客户端向Yarn提交信息
  4 计算出MapTask数量
  5 默认Text Input Format
  6 逻辑运算（Map）
  7 向环形缓冲区写入<k,v>数据
  8 分区，排序
  9 溢出到文件（分区且区内有序）
  10 Merge归并排序
  11 合并

• Shuffle机制
  1）Map 方法之后 Reduce 方法之前这段处理过程叫 Shuffle
  2）Map 方法之后，数据首先进入到分区方法，把数据标记好分区，然后把数据发送到环形缓冲区；环形缓冲区默认大小 100m，环形缓冲区达到 80%时，进行溢写；溢写前对数据进行排序，排序按照对 key 的索引进行字典顺序排序，排序的手段快排；溢写产生大量溢写文件，需要对溢写文件进行归并排序；对溢写的文件也可以进行 Combiner 操作，前提是汇总操作，求平均值不行。最后将文件按照分区存储到磁盘，等待 Reduce 端拉取。
  3）每个 Reduce 拉取 Map 端对应分区的数据。拉取数据后先存储到内存中，内存不够了，再存储到磁盘。拉取完所有数据后，采用归并排序将内存和磁盘中的数据都进行排序。在进入 Reduce 方法前，可以对数据进行分组操作。

• Hadoop优化
  0）HDFS 小文件影响
  （1）影响 NameNode 的寿命，因为文件元数据存储在 NameNode 的内存中
  （2）影响计算引擎的任务数量，比如每个小的文件都会生成一个 Map 任务
  1）数据输入小文件处理：
  （1）合并小文件：对小文件进行归档（Har）、自定义 Inputformat 将小文件存储成SequenceFile 文件。
  （2）采用 ConbinFileInputFormat 来作为输入，解决输入端大量小文件场景。
  （3）对于大量小文件 Job，可以开启 JVM 重用。
  2）Map 阶段
  （1）增大环形缓冲区大小。由 100m 扩大到 200m
  （2）增大环形缓冲区溢写的比例。由 80%扩大到 90%
  （3）减少对溢写文件的 merge 次数。
  （4）不影响实际业务的前提下，采用 Combiner 提前合并，减少 I/O。
  3）Reduce 阶段
  （1）合理设置 Map 和 Reduce 数：两个都不能设置太少，也不能设置太多。太少，会导致 Task 等待，延长处理时间；太多，会导致 Map、Reduce 任务间竞争资源，造成处理超时等错误。
  （2）设置 Map、Reduce 共存：调整 slowstart.completedmaps 参数，使 Map 运行到一定程度后，Reduce 也开始运行，减少 Reduce 的等待时间。
  （3）规避使用 Reduce，因为 Reduce 在用于连接数据集的时候将会产生大量的网络消耗。
  （4）增加每个 Reduce 去 Map 中拿数据的并行数
  （5）集群性能可以的前提下，增大 Reduce 端存储数据内存的大小。
  4）IO 传输
  （1）采用数据压缩的方式，减少网络 IO 的的时间。安装 Snappy 和 LZOP 压缩编码器。
  （2）使用 SequenceFile 二进制文件

5）整体
（1）MapTask 默认内存大小为 1G，可以增加 MapTask 内存大小为 4-5g
（2）ReduceTask 默认内存大小为 1G，可以增加 ReduceTask 内存大小为 4-5g
（3）可以增加 MapTask 的 CPU核数，增加 ReduceTask 的 CPU 核数
（4）增加每个 Container 的 CPU 核数和内存大小
（5）调整每个 Map Task 和 Reduce Task 最大重试次数

• 压缩
  一般压缩方式为 Snappy，特点速度快，缺点无法切分（在链式 MR 中，Reduce 端输出使用 bzip2 压缩，以便后续的 map 任务对数据进行 split）

• 切片机制
  1）简单地按照文件的内容长度进行切片
  2）切片大小，默认等于 Block 大小
  3）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片
  提示：切片大小公式max(0,min(Long_max,blockSize))

4.Yarn的Job提交流程

0 Mr程序提交到客户端所在的节点
1 向ResourceManager申请一个Application
2 Application资源提交路径以及id
3 Yarn Runner向NodeManager提交job运行所需资源
4 资源提交完毕，申请运行MrAppMaster
5 ResourceMAnager将用户的请求初始化成一个Task
6 NodeManager领取到Task任务
7 创建Container容器
8 下载job资源到本地
9 申请运行MapTask容器
10 领取到任务，创建容器
11 MrAppMaster发送程序启动脚本
12 MrAppMaster向RM申请两个容器，运行ReduceTask程序
13 Reduce、向Map获取相应分区的数据

5.Yarn 的默认调度器、调度器分类 、 以及他们之间的区别

1）Hadoop 调度器重要分为三类：
FIFO 、Capacity Scheduler（容量调度器）和 Fair Sceduler（公平调度器）。
Hadoop2.7.2 默认的资源调度器是 容量调度器
2）区别：
FIFO 调度器：先进先出，同一时间队列中只有一个任务在执行。
容量调度器：多队列；每个队列内部先进先出，同一时间队列中只有一个任务在执行。队列的并行度为队列的个数。
公平调度器：多队列；每个队列内部按照缺额大小分配资源启动任务，同一时间队列中有多个任务执行。队列的并行度大于等于队列的个数。
3）一定要强调生产环境中不是使用的 FifoScheduler，面试的时侯会发现候选人大概了解这几种调度器的区别，但是问在生产环境用哪种，却说使用的 FifoScheduler（企业生产环境一定不会用这个调度的）

6.LZO 压缩

Hadoop 默认不支持 LZO 压缩，如果需要支持 LZO 压缩，需要添加 jar 包，并在 hadoop的 cores-site.xml 文件中添加相关压缩配置。

7.Hadoop 参数调优

1）在 hdfs-site.xml 文件中配置多目录，最好提前配置好，否则更改目录需要重新启动集群
2）NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作。dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集群规模为 10 台时，此参数设置为 60
3 ） 编 辑 日 志 存 储 路 径 dfs.namenode.edits.dir 设 置 与 镜 像 文 件存储路径dfs.namenode.name.dir 尽量分开，达到最低写入延迟
4）服务器节点上 YARN 可使用的物理内存总量，默认是 8192（MB），注意，如果你的节点内存资源不够 8GB，则需要调减小这个值，而 YARN 不会智能的探测节点的物理内存总量。yarn.nodemanager.resource.memory-mb
5 ） 单 个 任 务 可 申 请 的 最 多 物 理 内 存 量 ， 默 认 是 8192 （ MB ） 。
yarn.scheduler.maximum-allocation-mb

8.基准测试

搭建完 Hadoop 集群后需要对 HDFS 读写性能和 MR 计算能力测试。测试 jar 包在hadoop的 share 文件夹下。

9.Hadoop宕机

1）如果 MR 造成系统宕机。此时要控制 Yarn 同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是 8192MB）
2）如果写入文件过量造成 NameNode 宕机。那么调高 Kafka 的存储大小，控制从 Kafka到 HDFS 的写入速度。高峰期的时候用 Kafka 进行缓存，高峰期过去数据同步会自动跟上。