Hadoop优化的纸上谈兵

最新推荐文章于 2023-12-09 09:44:32 发布
最新推荐文章于 2023-12-09 09:44:32 发布
阅读量83 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CsWarmSun/article/details/109543177
版权

Hadoop优化的纸上谈兵

2020年11月6日

9:15

不考虑硬件的原因,大致的优化策略有以下:

  • 数据倾斜, 找到更好的分区方法, 或者启用合理的combine
  • Map和Reduce数设置不合理, 例如,太多了会崩掉
  • Map运行太长, 导致Reduce等待太久, Map任务通常非常多, 应该设定Reduce开始时间, Map和Reduce并行执行.
  • 小文件过多, CombineTextInput
  • spill(溢写)次数过多, 增大collector容量
  • merge次数, 增大megre任务个数
KDLin
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
为数据而生：大数据创新实践八步骤
IT时代周刊
05-25 1683
什么样的企业可以称得上是大数据企业呢?恐怕没有人能够给出一个完美的答案。但是,直观地,我们可能觉得Google更像是一个大数据的企业,阿里巴巴也像是一个大数据的企业,而中国银行似乎不太像一个大数据的企业,尽管它每天也一样浸泡在海量的数据中。 关键词：大数据 　　成为大数据企业 　　什么样的企业可以称得上是大数据企业呢?恐怕没有人能够给出一个完美的答案。但是,直观地,我们可能觉得Google更像...
大数据开发学习脑图+学习路线清晰的告诉你！月薪50K很轻松
qq_43958467的博客
08-12 348
近些年，大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，但是又不知道从何下手，所以今天柠檬这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；当然还有自学教程分享哦！ 大数据是未来的发展方向，正在挑战我们的分析能力及对世界的认知方式，因此，我们与时俱进，迎接变化，并不断的成长!大数据学习群：8688...
Hadoop任务优化建议 - 【Dr.Elephant系列文章-6】
老屈长谈
05-08 1671
使用Dr.Elephant来分析我们的任务，可以知道有哪些地方可以进行优化。 加速你的任务流程 对于特定的任务，最好有特定的参数配置。对于很多的应用场景来说，默认的任务配置并不能保证每个任务都有最好的性能。尽管对这些任务进行调优会花费一些时间，但是这些调优带来的性能提升是非常可观的。 有几个任务参数需要特别注意：mapper数量，reducer数量，io.*的配置，内存使用设置以及生成的文件
Hadoop——常见优化
温一杯酒的博客
05-04 4013
1 MapReduce优化 MapReduce 程序效率的瓶颈在于两点： 计算机性能 CPU、内存、磁盘健康、网络 I/O操作优化 （1）数据倾斜 （2）Map和Reduce数设置不合理 （3）Map运行时间太长，导致Reduce等待过久 （4）小文件过多 （5）大量的不可分块的超大文件 （6）Spi次数过多 （7）Merge次数过多等。 MapReduce优化方法主要从六个方面考虑：数据输入...
Hadoop的优化
weixin_45061942的博客
11-14 376
0）HDFS 小文件影响 （1）影响 NameNode 的寿命，因为文件元数据存储在 NameNode 的内存中 （2）影响计算引擎的任务数量，比如每个小的文件都会生成一个 Map 任务 1）数据输入小文件处理： （1）合并小文件：对小文件进行归档（Har）、自定义 Inputformat 将小文件存储成SequenceFile 文件。 （2）采用 ConbinFileInputFormat 来作...
Hadoop的性能优化与调优
最新发布
禅与计算机程序设计艺术
12-09 1102
1.背景介绍 Hadoop是一个开源的分布式文件系统和分析平台，由Apache软件基金会开发。它可以处理大量数据，并提供高性能、高可用性和高扩展性。Hadoop的核心组件包括HDFS(Hadoop Distributed File System)和MapReduce。HDFS是一个分布式文件系统，可以存储大量数据，而MapReduce是一个数据处理模型，可以处理大规模数据。 Hadoop的性能...
大数据学习路径
qq_41842579的博客
11-09 478
大数据学习路径         在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：716加上【五8一】最后014，即可免费领取一整套系统的大数据学习教程 第一阶段linux+搜索+hadoop体系 Linux基础→shell编程→高并发架构→lucene,solr搜索→hadoop体系→HDFS→mapreduce→hbase→zookeeper...
大数据入门没有头绪？这份总结的大数据学习路线希望你用得着
qq_43958467的博客
08-22 576
1、为什么要学习大数据？ 1.1，门槛 它比 Java 高一点，因为除了对数据库的操作之外，要学习大数据生态的东西，需要会分布式、数仓、中间件等知识。它比机器学习低一些，不需要你会很多的机器学习算法和数学知识，而像机器学习算法和数学知识是需要长时间的磨练和沉淀，所以做这块的研究生和博士居多。 无论是哪个学校的计算机专业，Java、数据、C、C++什么的都会接触到，但是大数据呢？第一...
如何自学大数据开发？
juan189的博客
05-03 3637
大数据技术怎么自学?大数据开发如何自学? 我们在学习大数据开发前需要先找到适合自己的方式方法，首先需要审视一下自身的情况，是否是以兴趣为出发点，对大数据是不是自己是真的感兴趣吗，目前对大数据的了解有多少，自己的学习能力和理解能力是否适合学习。如果是跨行业转岗是否做好了心理准备。根据不同基础水平可以分为三类： 第一类：零基础学员，对大数据行业和技术一无所知; 第二类：有一定的编程基础，对大数据...
ubuntu远程管理，ssh，关闭图形界面
KDLin‘s Blog
09-15 678
ubuntu静态IP，ssh 2020年9月15日 18:40 自行加上sudo，ubuntu 20的配置相比16有一些不同。在NAT模式下，原理都是一致的。即vmare在window虚拟网卡，虚拟网卡连接虚拟路由器（网关），虚拟机连接虚拟路由器 准备 更新apt，apt-get install update，apt-get install upgrade 安装vim，ifconfig，apt-get install vim，apt-get install net-tools 安装开启s
Hadoop集群部署（二），小型集群部署
KDLin‘s Blog
10-02 619
整体规划 hadoop101 hadoop102 hadoop103 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ...
Hadoop集群搭建（一），xsync和xcall脚本编写
KDLin‘s Blog
10-02 380
准备，集群配置脚本 2020年9月29日 多节点操作脚本，同步文件以及命令，非常方便。 方法是通过脚本借助ssh，rsync同步文件，同步命令 xsync 其实核心就是 rsync，通过遍历指定的host完成同步 xcall 核心同样了遍历指定的host，执行ssh远程命令 注意 无法使用sudo命令的话，需要手动在/etc/sudoers文件中修改 ...
深入理解kafka原理和细节
KDLin‘s Blog
12-17 367
一、kafka架构、存储原理 引言 对于网络应用来说，网络数据传输延迟是不确定的，这种时候同步消息机制（即阻塞等待响应）就太慢了，所以需要异步通信机制。既然所有框架都有同样的需求，那自然需要一个专门处理异步通信的框架，即实现消息队列（MQ)，这就是Kafka。 kafka基础架构 kafka基于发布订阅模式，请求交给MQ队列，MQ队列负责代理请求的发送和响应信息的接收。大数据框架中这种信息交流的可靠性要求很高，因而消息会被kafka持久化。多个订阅者（消费者）即从kafka...
Flume入门以及常见分布式架构搭建
KDLin‘s Blog
12-07 355
Flume 引言 大数据要解决三件事，存储，传输，计算。Flume的定位是在传输这一块，其需求是采集不同框架，集群的日志，要求是高可靠性。比如后端程序一般不和大数据框架部署在同一个集群，但是作为数据平台，我们需要事实获取到相关程序的日记、记录、数据等等，例如电商系统，用户点击的瞬间已经开始计算下一次推荐。 基本架构 flume的基本存在是一个Agent，这是一个jvm进程 通过三个模块来管理数据传输的功能，分别是source，负责输入源对接，sink负责输出目标对接，chann..
Hadoopd的体系架构
KDLin‘s Blog
10-02 243
HDFS架构 NameNode，元数据，消耗资源 DataNode，保存数据 Secondary NameNode，定期备份NameNode YARN架构 工作流程： client提交任务，像ResourceManager（RM）发出申请，整个集群能干多少事，RM负责 RM找到有空的Node Manager（NM）, 每个Node Manager分管单个节点上的资源，NM还能干多少事需要给RM汇总 NM接洽client， 找来（新建）项目负责人，App...
Kafka API
KDLin‘s Blog
12-18 238
Kafka API 一、消息发送流程 Kafka消息发送采用异步发送机制。 main线程负责将消息经过拦截，序列化，分区，然后提交到RecordAccumulator RecordAccumulator是共享数据的数据结构 sender线程则负责从共享数据中拉取数据 二、自定义生产者和消费者 使用就是配置+send/get 比较重要的是理解消息发送流程，如何考虑生产者和消费者同步问题，结合消息发送流程理解。 生产者 使用 ...
任务时间推测及备用任务
KDLin‘s Blog
11-07 216
任务时间推测及备用任务 2020年11月6日 9:08 考虑到某些任务执行太慢,会拖慢其他任务,这时需要启用备用任务. 这里边的问题在于,如何判断任务执行太慢? 答案是, 通过历史任务的执行时间来预测当前任务的时间. 算法 这是一个非常简单的算法. ...
Mapreduce工作机制深度解析
KDLin‘s Blog
11-04 213
Mapreduce工作机制深度解析 2020年11月4日 19:55 Mapreduce整体的编程框架看起来非常直观，就是Map和Reduce两个阶段，但事实上有很多问题，细细想来其实并不容易。例如，我一开始学习wordcount的一些疑惑： 文件如何切分？数据源虽然只有一个，但是hadoop可是分布式的系统，这个文件可能存于多个节点上。其二，文本按行切分可以理解，但若输入数据不是一行一行的文本呢，由谁控制？ Reduce接收wordcount的k，v组的时候，其实是一组一组发过来的，..
Hadoop作业优化：微软技术白皮书
“微软Hadoop优化文档 - Hadoop Job Optimization” 本文档由微软ITSESE企业数据架构团队于2014年5月30日发布，主要关注Hadoop作业优化，提供了解决性能瓶颈的策略和建议，以提高整体Hadoop作业的执行效率。 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值