Hadoop 与 Spark 和 HBase 常用配置参数总结

最新推荐文章于 2021-01-10 21:07:42 发布

该昵称已经被占用

最新推荐文章于 2021-01-10 21:07:42 发布

阅读量1k

点赞数

分类专栏： Hadoop学习专辑

Hadoop学习专辑专栏收录该内容

40 篇文章 1 订阅

订阅专栏

本文转自 http://dongxicheng.org/framework-on-yarn/hadoop-spark-common-parameters/

一背景
二 MapReduce重要配置参数
三 HBase 相关配置参数
四 Spark 相关配置参数
- 1 效率及稳定性相关参数
- 2 容错相关参数

一. 背景

MapReduce 和 Spark 对外提供了上百个配置参数，用户可以为作业定制这些参数以更快，更稳定的运行应用程序。本文梳理了最常用的一些 MapReduce 和 Spark 配置参数。

二. MapReduce重要配置参数

2.1 资源相关参数

1. mapreduce.map.memory.mb

一个 Map Task 可使用的资源上限（单位: MB）。如果 Map Task 实际使用的资源量超过该值，则会被强制杀死
默认为 1024 MB

2. mapreduce.reduce.memory.mb

一个 Reduce Task 可使用的资源上限（单位: MB）。如果 Reduce Task 实际使用的资源量超过该值，则会被强制杀死
默认为 1024 MB

3. mapreduce.map.java.opts

Map Task 的 JVM 参数，你可以在此配置默认的 java heap size 等参数 e.g.

"-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc"

@taskid@ 会被 Hadoop 框架自动换为相应的 taskid
默认值: “-Xmx1024m”

4. mapreduce.reduce.java.opts

Reduce Task 的 JVM 参数，你可以在此配置默认的 java heap size 等参数, e.g.

"-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc"

@taskid@ 会被 Hadoop 框架自动换为相应的 taskid
默认值: “-Xmx1024m”

5. mapreduce.map.cpu.vcores

每个 Map task 可使用的最多 cpu core 数目
默认值: 1

6. mapreduce.map.cpu.vcores

每个 Reduce task 可使用的最多 cpu core 数目
默认值: 1

2.2 容错相关参数

1. mapreduce.map.maxattempts

每个 Map Task 最大重试次数，一旦重试参数超过该值，则认为 Map Task 运行失败
默认值：4

2. mapreduce.reduce.maxattempts

每个 Reduce Task 最大重试次数，一旦重试参数超过该值，则认为 Map Task 运行失败
默认值：4

3. mapreduce.map.failures.maxpercent

当失败的 Map Task 失败比例超过该值为，整个作业则失败。如果你的应用程序允许丢弃部分输入数据，则该该值设为一个大于 0 的值，比如 5，表示如果有低于 5%的 Map Task 失败（如果一个 Map Task 重试次数超过 mapreduce.map.maxattempts，则认为这个 Map Task 失败，其对应的输入数据将不会产生任何结果），整个作业仍认为成功
默认值为 0

4. mapreduce.reduce.failures.maxpercent

当失败的 Reduce Task 失败比例超过该值为，整个作业则失
默认值为0

5. mapreduce.task.timeout

Task 超时时间，经常需要设置的一个参数，该参数表达的意思为：如果一个 task 在一定时间内没有任何进入，即不会读取新的数据，也没有输出数据，则认为该 task 处于 block 状态，可能是卡住了，也许永远会卡主，为了防止因为用户程序永远 block 住不退出，则强制设置了一个该超时时间（单位毫秒）
默认是 300000 ms
如果你的程序对每条输入数据的处理时间过长（比如会访问数据库，通过网络拉取数据等），建议将该参数调大，该参数过小常出现的错误提示是“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”

2.3本地运行 mapreduce 作业

设置以下几个参数:

1. mapreduce.framework.name=local

2. mapreduce.jobtracker.address=local

3. fs.defaultFS=local

2.4 效率和稳定性相关参数

1. mapreduce.map.speculative

是否为 Map Task 打开推测执行机制
默认为 false

2. mapreduce.reduce.speculative

是否为 Reduce Task 打开推测执行机
默认为 false

3. mapreduce.job.user.classpath.first & mapreduce.task.classpath.user.precedence

当同一个 class 同时出现在用户 jar 包和 hadoop jar 中时，优先使用哪个 jar 包中的 class
默认为 false，表示优先使用 hadoop jar 中的 class

4. mapreduce.input.fileinputformat.split.minsize

每个 Map Task 处理的数据量（仅针对基于文件的 Inputformat 有效，比如TextInputFormat，SequenceFileInputFormat）
默认为一个 block 大小，即 134217728 （128M）

三. HBase 相关配置参数

1. hbase.rpc.timeout

rpc 的超时时间，默认 60s
不建议修改，避免影响正常的业务，在线上环境刚开始配置的是 3 秒，运行半天后发现了大量的 timeout error，原因是有一个 region 出现了如下问题阻塞了写操作：“Blocking updates … memstore size 434.3m is >= than blocking 256.0m size”可见不能太低

2. ipc.socket.timeout