MapReduce优化

最新推荐文章于 2023-07-18 16:28:02 发布

秃头小姐

最新推荐文章于 2023-07-18 16:28:02 发布

阅读量277

点赞数

分类专栏： hadoop 文章标签： hadoop mapreduce

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_42277332/article/details/114663565

版权

hadoop 专栏收录该内容

16 篇文章 0 订阅

订阅专栏

1MapReduce 跑的慢的原因

系统资源限制：内存、CPU
I/O问题
- 小文件太多
- 超大文件不能切片
- Map和Reduce参数设置不合理
- Map运行太长，Reduce等待太久
- 溢写次数太多
- merge合并次数太多

2 MapReduce优化方法

MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。

数据输入：合并小文件:CombineTextInputFormat
Map 阶段：
- 减少溢写次数：增大内存存储上限，减少溢写次数
- 减少merge合并次数：增大merge文件数，减少合并次数，缩短MR处理时间
- Map后，不影响业务逻辑下，提前combine出来，减少i/o
Reduce阶段：
- 合理设置Map和Reduce个数：太少使task等待时间长；太多hi竞争资源
- 在Map运行到一定程度后，让Reduce也开始运行，减少等待时间
- 尽量不用Reduce
- 合理设置Reduce短的buffer
IO传输
- 采用数据压缩方式：Snappy[速度非常快]和LZO[可切片]压缩;bzips：精度高，速度慢
- 使用SequenceFile二进制文件
数据倾斜问题
常用调优参数

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
MapReduce优化

1MapReduce 跑的慢的原因系统资源限制：内存、CPUI/O问题小文件太多超大文件不能切片Map和Reduce参数设置不合理Map运行太长，Reduce等待太久溢写次数太多merge合并次数太多2 MapReduce优化方法MapReduce优化方法主要从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。数据输入：合并小文件:CombineTextInputFormatMap 阶段：减少溢写次数：增大内存存储上限，减少
复制链接

扫一扫

专栏目录

秃头小姐 CSDN认证博客专家 CSDN认证企业博客

码龄6年

92: 原创

5万+: 周排名

3万+: 总排名

4万+: 访问

: 等级

1043: 积分

23: 粉丝

21: 获赞

7: 评论

70: 收藏

私信

关注

热门文章

分类专栏

算法-图 1篇
hive 4篇
hadoop 16篇
Sqark 1篇
机器学习 7篇
tensorflow2.0 3篇
进阶 53篇
图像处理 2篇
属性学习 3篇
业余 1篇

最新评论

Spark中的Standalone 模式配置时的坑
秃头小姐: rm -rf对应名称就可以
Spark中的Standalone 模式配置时的坑
瑾不瑜: 怎么格式化，有没有具体步骤
23 阶乘最后的非0位
长发无非遮丑: [code=cpp] //求最后非0位时，一般思路是只保留最后一位，但这是错的，因为前面的可能有进位 //天秀之笔，本来是%10，但是精度不够，因为如果每次只保留最后 //非0位的话会出错。所以在计算机允许的情况下尽可能保留多一点。 } n--; } int ans = min(num2, num5); cout << r % 10 <<" " << ans << endl; } return 0; } [/code]
23 阶乘最后的非0位
长发无非遮丑: 题目：N!的最后非零位和末尾零的个数附上完整代码[code=cpp] #include <iostream> #include<stack> #include<algorithm> #include<string> #include<stdlib.h> #include<sstream> #include<bitset> using namespace std; int getnum_2(int n) { int count = 0; while (n % 2 == 0 && n != 0) { count++; n = n / 2; } return count; } int getnum_5(int n) { int count = 0; while (n % 5 == 0 && n != 0) { count++; n = n / 5; } return count; } int main() { int n; while (cin >> n) { int r = 1; int num2 = 0; int num5 = 0; while (n) { num2 = num2 + getnum_2(n); num5 = num5 + getnum_5(n); r = n * r; if (r >= 10) { while (r % 10 == 0) { r = r / 10; } r = r % 100000; //求0的个数很简单，就是求2和5的指数中较小的那一个嘛。 //求最后非 [/code][code=cpp] [/code]
23 阶乘最后的非0位
长发无非遮丑: 姐姐你好秀啊，“n=n%1000;//100精度不够”这个是真的秀到我了，网上其他做法都没这个秀。嘻嘻，不过改成“n=n%100000;”才能得到AC，学到了！

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。