Hadoop集群的优化方法

已于 2022-04-29 09:24:59 修改
阅读量977 收藏 2
点赞数 14
分类专栏： Java 大数据 笔记 文章标签： hadoop 大数据 mapreduce
于 2022-04-12 15:38:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43325476/article/details/124125480
版权
Java 同时被 3 个专栏收录
31 篇文章 2 订阅
订阅专栏
大数据
19 篇文章 7 订阅
订阅专栏
笔记
2 篇文章 0 订阅
订阅专栏

文章目录

Hadoop优化

数据压缩

压缩前小思考

在学习这个数据压缩前,我们想想为什么要压缩?

压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在运行MR程序时，I/O操作、网络数据传输、 Shuffle和Merge要花大量的时间，尤其是数据规模很大和工作负载密集的情况下，因此，使用数据压缩显得非常重要。

上面看到了压缩的好处,知道压缩可以节约很多的时间,但是所有的文件都适合压缩吗?

答案肯定是否定的,相信大多数人都和我一样的答案. 部分小文件压缩的话,肯定是得不偿失的.磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。可以在任意MapReduce阶段启用压缩。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。因此在压缩时也是需要想想是否利大于弊的.

看完上面两个问题过后,我们怎样去权衡压缩情况呢?或者说有哪些注意事项呢?

基本原则:

① 运算密集型的job，少用压缩

② IO密集型的job,多用压缩

注意：采用压缩技术减少了磁盘IO，但同时增加了CPU运算负担。所以，压缩特性运用得当能提高性能，但运用不当也可能降低性能。

MR支持的压缩编码

压缩格式hadoop自带？算法文件扩展名是否可切分换成压缩格式后，原来的程序是否需要修改
DEFLATE是，直接使用DEFLATE.deflate否和文本处理一样，不需要修改
Gzip是，直接使用DEFLATE.gz否和文本处理一样，不需要修改
bzip2是，直接使用bzip2.bz2是和文本处理一样，不需要修改
LZO否，需要安装LZO.lzo是需要建索引，还需要指定输入格式
Snappy是，直接使用Snappy.snappy否和文本处理一样，不需要修改

为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示。

压缩格式对应的编码/解码器
DEFLATEorg.apache.hadoop.io.compress.DefaultCodec
gziporg.apache.hadoop.io.compress.GzipCodec
bzip2org.apache.hadoop.io.compress.BZip2Codec
LZOcom.hadoop.compression.lzo.LzopCodec
Snappyorg.apache.hadoop.io.compress.SnappyCodec

压缩性能的比较

压缩算法原始文件大小压缩文件大小压缩速度解压速度优缺点
gzip8.3GB1.8GB17.5MB/s58MB/s本身自带;效率较高高;但不支持split切分
bzip28.3GB1.1GB2.4MB/s9.5MB/s支持Split；具有很高的压缩率，比Gzip压缩率都高；本身自带;压缩速度慢;
LZO8.3GB2.9GB49.3MB/s74.6MB/s压缩/解压速度也比较快，合理的压缩率；支持Split;压缩率比Gzip要低一些；本身不支持，需要安装；在应用中对Lzo格式的文件需要做一些特殊处理（为了支持Split需要建索引，还需要指定InputFormat为Lzo格式）。
Snappy//最快250MB/s最快500MB/s高速压缩速度和合理的压缩率;不支持Split；压缩率比Gzip要低；Hadoop本身不支持，需要安装。

MR选择压缩的地方

在学习MR的时候,我们有看到MR可以选择的压缩地方有很多,下面一起看看压缩的具体位置:

image-20220412094739961

压缩的参数配置

要在Hadoop中启用压缩，可以配置如下参数：

参数默认值阶段建议
io.compression.codecs （在core-site.xml中配置）无，这个需要在命令行输入hadoop checknative查看输入压缩Hadoop使用文件扩展名判断是否支持某种编解码器
mapreduce.map.output.compress（在mapred-site.xml中配置）falsemapper输出这个参数设为true启用压缩
mapreduce.map.output.compress.codec（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecmapper输出企业多使用LZO或Snappy编解码器在此阶段压缩数据
mapreduce.output.fileoutputformat.compress（在mapred-site.xml中配置）falsereducer输出这个参数设为true启用压缩
mapreduce.output.fileoutputformat.compress.codec（在mapred-site.xml中配置）org.apache.hadoop.io.compress.DefaultCodecreducer输出使用标准工具或者编解码器，如gzip和bzip2
mapreduce.output.fileoutputformat.compress.type（在mapred-site.xml中配置）RECORDreducer输出SequenceFile输出使用的压缩类型：NONE和BLOCK

案例实操

​ 这里给大家一个压缩小方式哟：小伙子不想安装压缩软件的，建议直接使用Java，YYDS。

package com.mr.workcount;
/**
 * @author:Pier
 * @DATE:2022/3/2
 */
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * MR程序的驱动类：主要用于提交MR任务
 */
public class WordCountDriver {


    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
        //声明配置对象
        Configuration conf = new Configuration();

        //设置Mapper端输出的时候压缩
//        conf.set("mapredece.map.output.compress","true");
        conf.setBoolean("mapreduce.map.output.compress",true);
//        配置Hadoop默认的编解码器
        conf.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.DefaultCodec");

        //设置reduce端输出的时候压缩
        conf.setBoolean("mapreduce.output.fileoutputformat.compress",true);
        conf.set("mapreduce.output.fileoutputformat.compress.codec","org.apache.hadoop.io.compress.DefaultCodec");
        //        指定当前job提交的队列名称
        conf.set("mapreduce.job.queuename","hello");
        //        conf.set("mapreduce.job.inputformat.class","org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat");

        //声明job对象
        Job job = Job.getInstance(conf);
        //指定当前Job的驱动类
        job.setJarByClass(WordCountDriver.class);
        //指定当前Job的Mapper和Reducer
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);
        //指定Map段输出数据的key的类型和输出数据value的类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        //指定最终输出结果的key类型和value类型
        //知道这个结果输出
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        // 指定CombineTextInputFormat中的切片最大值
//        CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);
        // 指定InputFormat的具体实现
//        job.setInputFormatClass(CombineTextInputFormat.class);


        //指定输入数据的路径 和 输出数据的路径
        FileInputFormat.setInputPaths(job,new Path("inputPath"));
        //输出地址
        FileOutputFormat.setOutputPath(job,new Path("outputPath"));
        //若使用虚拟机的，请自行配置环境变量
//        FileInputFormat.setInputPaths(job,new Path(args[0]));
//        FileOutputFormat.setOutputPath(job,new Path(args[1]));

        //提交Job
        job.waitForCompletion(true);

    }
}

优化

可能会有的问题

企业的问题可能会有哪些：

MapReduce程序效率的瓶颈在于两点:

1．计算机性能
CPU、内存、磁盘健康、网络

2.I/O操作优化

  • 数据倾斜
  • Map和Reduce数设置不合理
  • Map运行时间太长，导致Reduce等待过久
  • 小文件过多
  • 大量的不可切片的超大压缩文件
  • Spill次数过多
  • Merge次数过多等

解决问题的方向

​ 计算机的性能提高不在我们的技术范围之内，但MapReduce优化方法可以从六个方面考虑：数据输入、Map阶段、Reduce阶段、IO传输、数据倾斜问题和常用的调优参数。

数据输入方面

  • 当输入端又大量小文件时，我们可以合并小文件，因为在执行MR任务前将小文件进行合并，大量的小文件会产生大量的Map任务，增大Map任务装载次数，而任务的装载比较耗时，从而导致MR运行较慢。
  • 采用CombineTextInputFormat来作为输入，解决输入端大量小文件场景。

Map阶段

  • 减少溢写（Spill）次数：通过调整mapreduce.task.io.sort.mb及mapreduce.map.sort.spill.percent参数值，增大触发Spill的内存上限，减少Spill次数，从而减少磁盘IO。
  • 减少合并（Merge）次数：通过调整mapreduce.task.io.sort.factor参数，增大Merge的文件数目，减少Merge的次数，从而缩短MR处理时间。
  • 在Map之后，不影响业务逻辑前提下，先进行Combine处理，减少 I/O。

Reduce阶段

  • 合理设置Map和Reduce数：两个都不能设置太少，也不能设置太多。太少，会导致Task等待，延长处理时间；太多，会导致Map、Reduce任务间竞争资源，造成处理超时等错误。
  • 合理设置Map和Reduce数：两个都不能设置太少，也不能设置太多。太少，会导致Task等待，延长处理时间；太多，会导致Map、Reduce任务间竞争资源，造成处理超时等错误。
  • 规避使用Reduce：因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。
  • 合理设置Reduce端的Buffer：默认情况下，数据达到一个阈值的时候，Buffer中的数据就会写入磁盘，然后Reduce会从磁盘中获得所有的数据。也就是说，Buffer和Reduce是没有直接关联的，中间多次写磁盘->读磁盘的过程，既然有这个弊端，那么就可以通过参数来配置，使得Buffer中的一部分数据可以直接输送到Reduce，从而减少IO开销：mapreduce.reduce.input.buffer.percent，默认为0.0。当值大于0的时候，会保留指定比例的内存读Buffer中的数据直接拿给Reduce使用。这样一来，设置Buffer需要内存，读取数据需要内存，Reduce计算也要内存，所以要根据作业的运行情况进行调整。

I/O传输

  • 采用数据压缩的方式，减少网络IO的时间。
  • 使用SequenceFile二进制文件。

数据倾斜
原因

  • key分布不均匀
  • 业务数据本身的特性
  • 建表时考虑不周
  • 某些SQL语句本身就有数据倾斜

解决的方案

  • 常用优化手段
    • 增加jvm内存：适用于变量值非常少的情况，这种情况下，往往只能通过硬件的手段来进行调优，增加jvm内存可以显著的提高运行效率；
    • 增加reduce的个数：适用于变量值非常多的情况，这种情况下最容易造成的结果就是大量相同key被partition到一个分区，从而一个reduce执行了大量的工作
    • 重新设计key：在map阶段时给key加上一个随机数，有了随机数的key就不会被大量的分配到同一节点(小几率)，待到reduce后再把随机数去掉即可
    • 使用combiner合并：combinner是在map阶段，reduce之前的一个中间阶段，在这个阶段可以选择性的把大量的相同key数据先进行一个合并，可以看做是local reduce，然后再交给reduce来处理，减轻了map端向reduce端发送的数据量(减轻了网络带宽)，也减轻了map端和reduce端中间的shuffle阶段的数据拉取数量(本地化磁盘IO速率)设置参数hive.map.aggr=true
    • 设置合理的map reduce的task数，能有效提升性能数据量较大的情况下，慎用count(distinct)，count(distinct)容易产生倾斜问题设置参数
    • 有数据倾斜的时候进行负载均衡，当选项设定为 true，生成的查询计划会有两个 MR Job。第一个 MR Job 中，Map 的输出结果集合会随机分布到 Reduce 中，每个 Reduce 做部分聚合操作，并输出结果，这样处理的结果是相同的 Group By Key 有可能被分发到不同的 Reduce 中，从而达到负载均衡的目的；第二个 MR Job 再根据预处理的数据结果按照 Group By Key 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个 Reduce 中），最后完成最终的聚合操作
  • SQL语句调节
    • 如何jion：关于驱动表的选取，选用join key分布最均匀的表作为驱动表；
      做好列裁剪和filter操作，以达到两表做join的时候，数据量相对变小的效果
    • 大小表jion：使用map join让小的维度表（1000条以下的记录条数） 先进内存。在map端完成reduce
    • 大表Join大表：把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null值关联不上，处理后并不影响最终结果
    • count distinct大量相同特殊值：count distinct时，将值为空的情况单独处理，如果是计算count distinct，可以不用处理，直接过滤，在最后结果中加1。如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行union
    • group by维度过小：采用sum() group by的方式来替换count(distinct)完成计算
    • 特殊情况特殊处理：在业务逻辑优化效果的不大情况下，有些时候是可以将倾斜的数据单独拿出来处理。最后union回去

数据调参 :值得注意的是，一般情况下，我们用不到这些参数，建议收藏，以便企业使用时方便查询哟！

以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml）

配置参数参数说明
mapreduce.map.memory.mb一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。
mapreduce.reduce.memory.mb一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果ReduceTask实际使用的资源量超过该值，则会被强制杀死。
mapreduce.map.cpu.vcores每个MapTask可使用的最多cpu core数目，默认值: 1
mapreduce.reduce.cpu.vcores每个ReduceTask可使用的最多cpu core数目，默认值: 1
mapreduce.reduce.shuffle.parallelcopies每个Reduce去Map中取数据的并行数。默认值是5
mapreduce.reduce.shuffle.merge.percentBuffer中的数据达到多少比例开始写入磁盘。默认值0.66
mapreduce.reduce.shuffle.input.buffer.percentBuffer大小占Reduce可用内存的比例。默认值0.7
mapreduce.reduce.input.buffer.percent指定多少比例的内存用来存放Buffer中的数据，默认值是0.0

应该在YARN启动之前就配置在服务器的配置文件中才能生效（yarn-default.xml）

配置参数参数说明
yarn.scheduler.minimum-allocation-mb给应用程序Container分配的最小内存，默认值：1024
yarn.scheduler.maximum-allocation-mb给应用程序Container分配的最大内存，默认值：8192
yarn.scheduler.minimum-allocation-vcores每个Container申请的最小CPU核数，默认值：1
yarn.scheduler.maximum-allocation-vcores每个Container申请的最大CPU核数，默认值：32
yarn.nodemanager.resource.memory-mb给Containers分配的最大物理内存，默认值：8192

Shuffle性能优化的关键参数，应在YARN启动之前就配置好（mapred-default.xml）

配置参数参数说明
mapreduce.task.io.sort.mbShuffle的环形缓冲区大小，默认100m
mapreduce.map.sort.spill.percent环形缓冲区溢出的阈值，默认80%

容错相关参数（MapReduce性能优化）

配置参数参数说明
mapreduce.map.maxattempts每个Map Task最大重试次数，一旦重试次数超过该值，则认为Map Task运行失败，默认值：4。
mapreduce.reduce.maxattempts每个Reduce Task最大重试次数，一旦重试次数超过该值，则认为Map Task运行失败，默认值：4。
mapreduce.task.timeoutTask超时时间，经常需要设置的一个参数，该参数表达的意思为：如果一个Task在一定时间内没有任何进入，即不会读取新的数据，也没有输出数据，则认为该Task处于Block状态，可能是卡住了，也许永远会卡住，为了防止因为用户程序永远Block住不退出，则强制设置了一个该超时时间（单位毫秒），默认是600000（10分钟）。如果你的程序对每条输入数据的处理时间过长（比如会访问数据库，通过网络拉取数据等），建议将该参数调大，该参数过小常出现的错误提示是：“AttemptID:attempt_14267829456721_123456_m_000224_0 Timed out after 300 secsContainer killed by the ApplicationMaster.”。

好了，本来后边还有Hadoop ha的流程搭建的，但是这里就不加了，太多了，大家有兴趣的可以给我评论或者私聊我哟，要是多的话，就发一下。

pier～呀
关注
  • 14
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
hadoop集群优化
10-20 929
hadoop集群优化： 一、配置参数优化 1、小文件优化：调整split\reduce等参数 split参数需根据应用自定义调整,不能统一配置。 --hive-site.xml（调整reduce输出参数）     hive.merge.mapredfiles     true     hive.merge.smallfiles.avgsize     100000000
Hadoop集群高可用与性能优化
05-09
Hadoop集群高可用与性能优化
大数据集群节点操作系统优化_大数据集群优化方案，硬核
最新发布
2401_84181125的博客
04-14 542
工作原理:CFQ为每个进程/线程单独创建一个队列来管理该进程所产生的请求,也就是说每个进程一个队列,各队列之间的调度使用时间片来调度,以此来保证每个进程都能被很好的分配到I/O带宽.I/O调度器每次执行一个进程的4次请求.电梯算法饿死读请求的解释:因为写请求比读请求更容易.写请求通过文件系统cache,不需要等一次写完成,就可以开始下一次写操作,写请求通过合并,堆积到I/O队列中.
Hadoop笔记-生产调优篇
weixin_52457750的博客
11-12 1101
Hadoop笔记-生产调优篇
hadoop 集群优化
qq_19917081的博客
02-14 3685
1.系统参数调整 中文名称 英文名称 默认值 推荐值或推荐策略 修改命令 作用 备注 socket的监听队列最大值 net.core.somaxconn 128 1024或更大 echo 1024 >/proc/sys/net/core/somaxconn 增大打开文件数据和网络连接上限，调整内核
提高Hadoop性能：优化技巧与实践
weixin_66354126的博客
01-04 596
Hadoop作为一个分布式计算框架，已经广泛应用于大数据处理和分析领域。然而，随着数据量的不断增长和计算需求的日益复杂，如何优化Hadoop集群的性能成为了关键。本文将介绍一些提高Hadoop性能的优化技巧与实践，并通过示例代码进行说明。综上所述，提高Hadoop性能需要综合考虑硬件和网络、数据存储和访问、作业调度和资源管理以及监控和调优等方面的因素。通过合理选择和优化这些方面的配置和参数，可以有效提高Hadoop集群的性能，满足不断增长的大数据处理需求。
如何构建最优化的Hadoop集群
01-30
数据库和文件中储存的数据量每天都在增长，因此我们需要构建能够储存大量数据(...在本文中，我将尝试说明如何构建一个可伸缩的Hadoop集群，以存储、索引、检索和维护理论上无限容量的数据。1.网络体系结构2.操作系统3
Hadoop集群优化手册
08-05
请在测试环境使用本文档对集群参数调优，测试环境无不良情况可根据具体生产情况调整。
hadoop集群搭建文档资料
11-15
Hadoop集群的搭建是一项技术性很强的任务，涉及到多个组件的配置和优化。以下是对"hadop集群搭建文档资料"的详细解析： 1. **Hadoop概述**：Hadoop由Apache基金会开发，基于Java语言，设计为分布式计算系统，它支持...
hadoop集群
10-17
总的来说，搭建Hadoop集群涉及多个步骤，包括硬件准备、环境配置、软件安装、服务启动以及性能优化。这个过程可能会遇到各种问题，但只要理解了Hadoop的基本原理和架构，就可以逐步解决。对于初学者来说，这是一个...
大数据——Hadoop集群调优
bhegi_seg的博客
03-30 3064
注意：本文使用的Hadoop版本为3.2.1版本 目录 一、HDFS多目录存储 1.1 生产环境服务器磁盘情况 1.2 在hdfs-site.xml文件中配置多个目录，需要注意新挂载磁盘的访问权限问题。 二、集群数据均衡 2.1 节点间数据均衡 1）开启数据均衡命令 2）停止数据均衡命令 2.2 磁盘间数据均衡 1）生成均衡计划 2）执行均衡计划 3）查看当前均衡任务的执行情况 4）取消均衡任务 三、配置LZO压缩 1）下载hadoop-lzo开源组件并编译 2）将编译好的hadoop-lzo-0.4.20
hadoop高可用集群搭建及参数优化
06-17
hadoop高可用集群搭建及参数优化hadoop高可用集群搭建及参数优化hadoop高可用集群搭建及参数优化
Hadoop调优思路
qq_36864672的博客
02-28 690
HDFS 上每个文件都要在 NameNode 上创建对应的元数据，这个元数据的大小约为 150byte，这样当小文件比较多的时候，就会产生很多的元数据文件，一方面会大量占用 NameNode 的内存空间，另一方面就是元数据文件过多，使得寻址索引速度变慢。这里我们发现所有的文件块都是存储在 DISK，按照理论一个副本存储在 RAM_DISK,其他副本存储在 DISK 中，这是因为，我们还需要配置“dfs.datanode.max.locked.memory”，“dfs.block.size”参数。
大数据内容分享(十)：Hadoop 性能优化与运维
之乎者也·的博客
01-05 1140
TIPS:设置HDFS的文件副本数，默认为3，当许多任务同时读取一个文件时，读取可能会造成瓶颈，增大副本数可以有效缓解，但也会造成大量的磁盘空间占用，这时可以只修改Hadoop客户端的配置，从Hadoop客户端上传的文件的副本数以Hadoop客户端的设置为准。TIPS：对于普通机器来书，文件访问时间可以让用户知道文件的近期查看和修改，但是对于HDFS没有意义，因为HDFS不支持修改，如果不禁用，在每次读取文件的时候还有伴随进行一次写操作，这些开销是浪费时间的，因此在挂在数据分区时，禁用文件的访问时间。
Hadoop性能调优建议
Dreamershi的专栏
11-21 1165
5、HDFS的Handler数量由dfs.namenode.handler.count、dfs.namenode.service.handler.count和dfs.datanode.handler.count控制。Dfs.namenode.service.handler.count Namenode的RPC服务端用于监听来自datanode和所有非客户端节点请求的线程数。mapreduce.task.io.sort.mb 一般设置为容器内存的25%，加大可以减少map中间结果spill到硬盘次数。
Hadoop的性能优化
不言尘世
05-12 1372
**Hadoop参数优化的3个原则 （1）增大作业的并行程度，如增加Map任务的数量 （2）保证任务执行时有足够的资源 （3）满足前两个的情况下，尽可能为shuffle阶段提供资源 【以上适用于大部分分布式计算的框架】 1. Hadoop客户端的概念 Hadoop是主从架构，具体存储和计算由从节负责，主节点负责调度、元数据存储、资源管理。一般讲提交计算任务的工作放在主节点完成。实际上在集群中的任意一个节...
hadoop性能调优与运维
那年花下月如雪
07-16 6112
hadoop性能调优与运维 硬件选择 操作系统调优与JVM调优 hadoop参数调优 hive性能调优 hadoop运维 硬件选择 hadoop运行环境 如何选择合适的硬件 主从节点可靠性：主节点可靠性要好于从节点 单节点选型：多路多核、高频率cpu、大内存 主节点： NameNode的内存决定了集群保存文件数的总量。ResourceManager同时运行的作业会消耗一定的内存。 从节点
Hadoop集群网络性能优化：Hadoop机架感知实现及配置
大数据框架Hadoop学习
05-16 519
分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。 具体到Hadoop集群，由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储，每个block...
hadoop集群调优及MR调优
do_what_you_can_do的博客
11-09 3555
一、操作系统调优 1、提高网络连接上限。以增加网络带宽的利用率，即修改内核net.core.somaxcon参数 2、关闭swap交换分区。以免内存不足时，数据会溢写到磁盘，读取时再从磁盘读取，增加数据读取时间 3、调整预读缓存区的大小。将数据预读，减少磁盘IO时间 二、HDFS调优 1、配置文件一：core-site.xml 1>hadoop.tmp.dir：

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值