初学耗时:0.5h
注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。
一、MapReduce优化 - 资源相关参数
1.1 在MapReduce 应用程序中配置。
1.2 在 yarn 启动之前配置。
1.3 在 yarn 启动之前配置。
记忆词:
应用程序中配置、Yarn启动之前配置
一、MapReduce优化 - 资源相关参数
1.1 ~ 在MapReduce 应用程序中配置。
以下参数是在用户自己的 MapReduce 应用程序中配置就可以生效。
1.1.1 . mapreduce.map.memory.mb
- 一个 Map Task 可使用的内存上限(单位:MB),默认为 1024。
- 如果 Map Task 实际使用的资源量超过该值,则会被强制杀死。
1.1.2 . mapreduce.reduce.memory.mb
- 一个 Reduce Task 可使用的资源上限(单位:MB),默认
为 1024。
如果 Reduce Task 实际使用的资源量超过该值,则会被强制杀死。
1.1.3 . mapreduce.map.cpu.vcores
- 每个 Maptask 可用的最多 cpu core 数目, 默认值: 1
1.1.4 . mapreduce.reduce.cpu.vcores
- 每个 Reducetask 可用最多 cpu core 数目默认值: 1
1.1.5 . mapreduce.map.java.opts
- Map Task 的 JVM 参数,你可以在此配置默认的 java heap size 等参数。
- 例如:“-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc”
(@taskid@会被 Hadoop 框架自动换为相应的 taskid), 默认值: “”
1.1.6 . mapreduce.reduce.java.opts
- Reduce Task 的 JVM 参数,你可以在此配置默认的 java heap size 等参数。
- 例如:“-Xmx1024m -verbose:gc -Xloggc:/tmp/@taskid@.gc”, 默认值: “”
1.2 ~ 在 yarn 启动之前配置。
应该在 yarn 启动之前就配置在服务器的配置文件中才能生效。
1.2.1 . yarn.scheduler.minimum-allocation-mb
- RM 中每个容器请求的最小配置,以 MB 为单位,默认 1024。
1.2.2 . yarn.scheduler.maximum-allocation-mb
- RM 中每个容器请求的最大分配,以 MB 为单位,默认 8192。
1.2.3 . yarn.scheduler.minimum-allocation-vcores
- 1
1.2.4 . yarn.scheduler.maximum-allocation-vcores
- 32
1.2.5 . yarn.nodemanager.resource.memory-mb
- 表示该节点上 YARN 可使用的物理内存总量,默认是 8192(MB)。
- 注意,如果你的节点内存资源不够 8GB,则需要调减小这个值,而 YARN不会智能的探测节点的物理内存总量。
1.3 ~ 在 yarn 启动之前配置。
shuffle 性能优化的关键参数,应在 yarn 启动之前就配置好。
1.3.1 . mapreduce.task.io.sort.mb
- 100
- shuffle 的环形缓冲区大小,默认 100m
1.3.2 . mapreduce.map.sort.spill.percent
- 0.8
- 环形缓冲区溢出的阈值,默认 80%
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
^ 至此,MapReduce优化 - 资源相关参数完成。
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
※ 世间诱惑何其多,坚定始终不动摇。
SQL中,表结构的修改命令是________。
…
ALTER TABLE <基本表名> ADD <列名> <类型>
- - - - - - - - - - - - - - - - - - - - - - - - - - - -
注:CSDN手机端暂不支持章节内链跳转,但外链可用,更好体验还请上电脑端。
我知道我的不足,我也知道你的挑剔,但我就是我,不一样的烟火,谢谢你的指指点点,造就了我的点点滴滴:)!