MapReduce任务参数调优

最新推荐文章于 2024-01-04 19:32:28 发布
最新推荐文章于 2024-01-04 19:32:28 发布
阅读量528 收藏 1
点赞数
分类专栏： hadoop 文章标签： 大数据 epoll java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangjinyuan161/article/details/84682882
版权
本文详细介绍了如何优化Hadoop 2.x版本的MapReduce任务，涵盖操作系统、HDFS和MapReduce参数调优，包括增大打开文件数据限制、调整HDFS文件块大小、设置MapReduce的槽位数目、优化Shuffle阶段等，旨在提高任务执行效率和系统性能。
摘要由CSDN通过智能技术生成

MapReduce任务参数调优

本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。

Hadoop的默认配置文件（以cdh5.0.1为例）：

说明：

在hadoop2中有些参数名称过时了，例如原来的mapred.reduce.tasks改名为mapreduce.job.reduces了，当然，这两个参数你都可以使用，只是第一个参数过时了。

1. 操作系统调优

  • 增大打开文件数据和网络连接上限，调整内核参数net.core.somaxconn，提高读写速度和网络带宽使用率
  • 适当调整epoll的文件描述符上限，提高Hadoop RPC并发
  • 关闭swap。如果进程内存不足，系统会将内存中的部分数据暂时写入磁盘，当需要时再将磁盘上的数据动态换置到内存中，这样会降低进程执行效率
  • 增加预读缓存区大小。预读可以减少磁盘寻道次数和I/O等待时间
最低0.47元/天 解锁文章
wangjinyuan161
关注
专栏目录
MapReduce调优方案
QYHuiiQ
08-11 1338
以上参数的配置都应结合自己实际的硬件资源以及业务需求，按需调整。
hadoop 性能调优 重要参数设置技巧
fp196391196391的专栏
12-16 1万+
这里主要针对Mapreduce的性能调优。 这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~ 这里主要涉及的参数包括： HDFS： dfs.block.size Mapredure： io.sort.mb io.sort.spill.percent mapred.local.dir mapred.map.tasks & mapred
mapreduce任务相关参数解读
jiabingyi的博客
01-21 315
如图所示，进入到具体job后，点击Configuration可以看到大量该任务运行参数。 搜索mapreduce.input.fileinputformat.split.maxsize，我们可以看到该参数到具体信息，还可以看到该参数到来源，一个参数可以有多个配置文件，最右边显示到是该参数到具体配置文件，job.xml ⬅ programatically，programatically按程序 的意思，也就是该参数来之具体的任务。 搜索mapreduce.t...
【Spark】mapreduce任务参数优化
littlemichelle
09-22 2428
1、GC 首先确定是map阶段gc，还是reduce阶段gc。 reduce阶段gc，则 set mapreduce.reduce.cpu.vcores=当前值*2; set mapreduce.reduce.memory.mb=当前值*2; set mapreduce.reduce.java.opts=当前值*2; map阶段gc，则 mapreduce.map.cpu.vcores=当前值*2； mapreduce.map.memory.mb=当前值*2； mapreduce.map.ja
MapReduce作业配置参数
qiezikuaichuan的专栏
06-29 2684
可在客户端的mapred-site.xml中配置，作为MapReduce作业的缺省配置参数。也可以在作业提交时，个性化指定这些参数。 参数名称 缺省值 说明 mapreduce.job.name   作业名称 mapreduce.job.priority NORMAL 作业优先级 yarn.app.mapreduce.am.resource.
MapReduce常用的调优参数
williamccc的博客
08-14 864
MapReduce常用的调优参数 资源相关参数 （1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml） 配置参数 参数说明 mapreduce.map.memory.mb 一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory.mb 一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果ReduceTask
Hadoop中MapReduce参数调优与性能优化技巧
# 1. 简介 ## 1.1 Hadoop及MapReduce概述 Hadoop是一个开源的分布式计算系统，用于处理...在大规模数据处理中，参数调优与性能优化是非常关键的。通过合理地配置Hadoop和MapReduce的参数，可以提高作业的执行效率和吞
hadoop、habse、yarn、MapReduce调优等总结的集合调优.docx
12-05
`mapred-site.xml`则是针对MapReduce任务的配置，涉及调度器、任务内存分配等。 HDFS调优主要包括以下几个方面： 1. **允许文件追加**：通过修改`hdfs-site.xml`中的配置，可以启用HDFS上的文件追加功能。 2. **...
关于mapreduce 几个参数的解释
z_xiaozhuT的博客
05-25 1万+
一、mapreduce.map.java.opts、mapreduce.reduce.java.opts    以map任务为例，Container其实就是在执行一个脚本文件，而脚本文件中，会执行一个 Java 的子进程，这个子进程就是真正的 Map Task，mapreduce.map.java.opts 其实就是启动 JVM 虚拟机时，传递给虚拟机的启动参数，而默认值 -Xmx200m 表示这...
hive调优系列—针对mapreduce进行调优
eli的博客
09-07 1129
本文主要针对mapreduce的配置对hive进行调优。更多配置可查看hive官网。
hadoop生态圈面试精华之MapReduce(二)
m0_46914845的博客
08-29 1022
hadoop生态圈面试精华之MapReduce(二)
hive map，reduce数目配置优化
weixin_38655836的博客
03-02 704
map task的数量即mapred.map.tasks的参数值，用户不能直接设置这个参数。Input Split的大小，决定了一个Job拥有多少个map。默认input split的大小是64M（与dfs.block.size的默认值相同）。然而，如果输入的数据量巨大，那么默认的64M的block会有几万甚至几十万的Map Task，集群的网络传输会很大，最严重的是给Job Tracker的调度...
Hive 基于MapReduce引擎 map和reduce数的参数控制原理与调优经验
是个好男人的博客
11-26 2357
1.概述 主要对基于MR的map数和reduce数测试与调优 2.数据准备 （1）表信息 本次测试的表和sql都是使用的TPC-DS，表文件存储格式为text 表名 是否压缩 总数 占用空间 文件数 date_dim 否 73049 9.8 M 1 item ...
【硬刚Hive】Hive高级（3）：优化(3) 合理设置 Map 及 Reduce 数/并行执行/ 严格模式/JVM 重用/压缩
微信搜：import_bigdata，大数据领域硬核原创作者
09-11 752
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 5 合理设置 Map 及 Reduce 数 1）通常情况下，作业会通过 input 的目录产生一个或者多个 map ....
Hadoop之mapreduce参数大全-2
最新发布
m0_49620121的博客
01-04 1340
需要注意的是，设置合理的超时时间可以避免Reduce任务在shuffle阶段的fetch操作中无限重试，从而影响任务的执行效率。需要注意的是，设置合理的超时时间可以避免Reduce任务在shuffle阶段的网络连接中无限等待，从而影响任务的执行效率。需要注意的是，启用网络连接的Keep-Alive特性可以减少网络连接的建立和断开次数，从而提高任务的网络传输效率。但需要注意，设置过小的值可能导致生成的切片数量过多，增加任务启动和管理的开销，而设置过大的值可能导致某些 Map 任务处理过大的数据块而效率降低。
在MapReduce中使用压缩
andyguan01_2的博客
04-23 1554
要想压缩MapReduce作业的输出，应在作业配置过程中将mapreduce.output.fileoutputformat.compress属性设为true，将mapreduce.output.fileoutputformat.compress.codec属性设置为打算使用的压缩codec的类名。另一种方案是在FileOutputFormat中使用更便捷的方法设置这些属性，如以下范例，对查找最高...
Hadoop深入浅出MapReduce详解（全网最细）
热门推荐
清风的博客
05-28 1万+
文章目录前言-MR概述1.Hadoop MapReduce设计思想及优缺点设计思想优点：缺点：2. Hadoop MapReduce核心思想3.MapReduce工作机制剖析MapReduce运行机制过程描述第一阶段：作业提交（图1-4步）第二阶段：作业初始化（图5-7步）第三阶段：任务的分配(图8)第四阶段：任务的执行（图9-11）第五阶段：作业完成Tips 知识点：进度和状态更新4.MR各组成部分工作机制原理4.1概览：4.2 MapTask工作机制4.3 ReduceTask工作机制4.4shuffl
优化Hadoop MapReduce性能：参数调优实战
- **mapred-site.xml配置文件**：详述了该文件中与MapReduce作业密切相关的参数设置，如任务并行度、内存分配等。 - **CPU相关参数**：讨论了如何调整CPU使用率，以平衡计算资源的利用。 - **磁盘I/O相关参数**：...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值