Hadoop源码解读(切片原理)

最新推荐文章于 2024-04-02 15:58:43 发布
最新推荐文章于 2024-04-02 15:58:43 发布
阅读量622 收藏 1
点赞数
分类专栏： hadoop 文章标签： hadoop 源码 切片
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yujianxiaoyaobb/article/details/103188729
版权

Hadoop源码解读(切片原理)

在上一篇博客中。主要聊了聊一个hadoop的job在提交后，运行前所做的一些准备工作。主要是：

  1. 获取Job运行的环境是LocalJobRunner还是YarnRunner。
  2. 校验输出路径
  3. 获取Job的工作目录
  4. 获取当前将要运行的Job的Id
  5. 拼接上面两个，生成当前Job的工作目录，并创建
  6. 生成切片信息，返回切片的数量，并将切片信息放入Job工作目录中
  7. 将当前Job配置信息放入Job工作目录中

这篇博客中主要聊一聊第6步，也就是生成切片信息的过程。上一个博客讲到int maps = writeSplits(job, submitJobDir)这个方法时，就没有细讲，这次我们详细聊一聊切片的过程。入点从int maps = writeSplits(job, submitJobDir);方法开始。

int maps = writeSplits(job, submitJobDir);hadoop切片的主要逻辑都在这个方法中，所以我们进到这个方法里来研究下。代码如下：

private int writeSplits(org.apache.hadoop.mapreduce.JobContext job,
      Path jobSubmitDir) throws IOException,
      InterruptedException, ClassNotFoundException {
    JobConf jConf = (JobConf)job.getConfiguration();
    int maps;
    if (jConf.getUseNewMapper()) {
      maps = writeNewSplits(job, jobSubmitDir);
    } else {
      maps = writeOldSplits(jConf, jobSubmitDir);
    }
    return maps;
  }

  1. map表示切片的个数

  2. maps = writeNewSplits(job, jobSubmitDir);因为是用的新的API，切片个数是调用

    maps = writeNewSplits(job, jobSubmitDir);方法得到

    具体方法如下:

    private <T extends InputSplit>
  int writeNewSplits(JobContext job, Path jobSubmitDir) throws IOException,
      InterruptedException, ClassNotFoundException {
    Configuration conf = job.getConfiguration();
    InputFormat<?, ?> input =
      ReflectionUtils.newInstance(job.getInputFormatClass(), conf);

    List<InputSplit> splits = input.getSplits(job);
    T[] array = (T[]) splits.toArray(new InputSplit[splits.size()]);

    // sort the splits into order based on size, so that the biggest
    // go first
    Arrays.sort(array, new SplitComparator());
    JobSplitWriter.createSplitFiles(jobSubmitDir, conf, 
        jobSubmitDir.getFileSystem(conf), array);
    return array.length;
  }
    • splits是一个List集合，里面存放的是每个切片信息，通过将splits变成一个array数组，返回这个array数组的length，来返回切片的个数
    • 在这个方法里面最核心的是List splits = input.getSplits(job);这个方法获取切片信息，并将每个切片的信息放入到splits这个List集合中，所以我们现在来专门研究下这个方法，以下是这个方法的实现：
      public List<InputSplit> getSplits(JobContext job) throws IOException {
    StopWatch sw = new StopWatch().start();
    long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));
    long maxSize = getMaxSplitSize(job);

    // generate splits
    List<InputSplit> splits = new ArrayList<InputSplit>();
    List<FileStatus> files = listStatus(job);
    for (FileStatus file: files) {
      Path path = file.getPath();
      long length = file.getLen();
      if (length != 0) {
        BlockLocation[] blkLocations;
        if (file instanceof LocatedFileStatus) {
          blkLocations = ((LocatedFileStatus) file).getBlockLocations();
        } else {
          FileSystem fs = path.getFileSystem(job.getConfiguration());
          blkLocations = fs.getFileBlockLocations(file, 0, length);
        }
        if (isSplitable(job, path)) {
          long blockSize = file.getBlockSize();
          long splitSize = computeSplitSize(blockSize, minSize, maxSize);

          long bytesRemaining = length;
          while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
            int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
            splits.add(makeSplit(path, length-bytesRemaining, splitSize,
                        blkLocations[blkIndex].getHosts(),
                        blkLocations[blkIndex].getCachedHosts()));
            bytesRemaining -= splitSize;
          }

          if (bytesRemaining != 0) {
            int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
            splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining,
                       blkLocations[blkIndex].getHosts(),
                       blkLocations[blkIndex].getCachedHosts()));
          }
        } else { // not splitable
          splits.add(makeSplit(path, 0, length, blkLocations[0].getHosts(),
                      blkLocations[0].getCachedHosts()));
        }
      } else { 
        //Create empty hosts array for zero length files
        splits.add(makeSplit(path, 0, length, new String[0]));
      }
    }
    // Save the number of input files for metrics/loadgen
    job.getConfiguration().setLong(NUM_INPUT_FILES, files.size());
    sw.stop();
    if (LOG.isDebugEnabled()) {
      LOG.debug("Total # of splits generated by getSplits: " + splits.size()
          + ", TimeTaken: " + sw.now(TimeUnit.MILLISECONDS));
    }
    return splits;
  }

    ​ ①在这里我挑几个重点的来聊一聊

    ​ ②long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));

    ​ 这个minSize默认为1

    ​ ③long maxSize = getMaxSplitSize(job);这个是获取maxSize,具体我们可以看看他是如何实现的

     public static long getMaxSplitSize(JobContext context) {
    return context.getConfiguration().getLong(SPLIT_MAXSIZE, 
                                              Long.MAX_VALUE);
  }

    可以看到传入的SPLIT_MAXSIZE和Long类型的最大值。SPLIT_MAXSIZE默认为null。

     public long getLong(String name, long defaultValue) {
    String valueString = getTrimmed(name);
    if (valueString == null)
      return defaultValue;
    String hexString = getHexDigits(valueString);
    if (hexString != null) {
      return Long.parseLong(hexString, 16);
    }
    return Long.parseLong(valueString);
  }

    可以看到调用这个方法的两个参数，一个为null，另一个为Long类型的最大值。最终的结果为Long类型的最大值

    ​ ④List splits = new ArrayList();表示存放切片信息的List集合

    ​ ⑤List files = listStatus(job);表示获得job提交时所有输入的文件

    ​ ⑥对每一个文件进行遍历，这样就默认一个文件就是一个切片。现在后续的代码就是看你每一个文件是否 可以再进行切片。

    ​ ⑦Path path = file.getPath();获取文件的具体路径和文件名

    ​ long length = file.getLen();获取当前文件的大小

    ​ ⑧

      if (file instanceof LocatedFileStatus) {
            blkLocations = ((LocatedFileStatus) file).getBlockLocations();
          } else {
            FileSystem fs = path.getFileSystem(job.getConfiguration());
            blkLocations = fs.getFileBlockLocations(file, 0, length);
          }

    查看你的文件是否是块类型的。默认都是块类型的。如果是块类型的。就获取你这个文件的所处块的具体信息

    ⑨

       if (isSplitable(job, path)) {
             long blockSize = file.getBlockSize();
             long splitSize = computeSplitSize(blockSize, minSize, maxSize);
   
             long bytesRemaining = length;
             while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) {
               int blkIndex = getBlockIndex(blkLocations, length-bytesRemaining);
               splits.add(makeSplit(path, length-bytesRemaining, splitSize,
                           blkLocations[blkIndex].getHosts(),
                           blkLocations[blkIndex].getCachedHosts()));
               bytesRemaining -= splitSize;
             }

    查看当前文件是否可以切分。因为有的文件无法切分。如果无法切分的文件，就只能当做一个切片处理。这里面有一个方法比较重要。就是计算切片大小的方法。因为你一个文件想要切片，你就需要知道，是按照什么切片大小进行切分。所以切片大小很重要。这里我们详细解读下计算切片大小这个方法。以下为这个方法的具体实现：

    protected long computeSplitSize(long blockSize, long minSize,
                                  long maxSize) {
    return Math.max(minSize, Math.min(maxSize, blockSize));
  }

    • blockSize是调用这个方法时，传过来的参数，long blockSize = file.getBlockSize();我这边具体大小为32M。在这里我大概说下这个blockSize的值。如果是在本地的话，大小为32M，如果是在hadoop1.x版本，大小为64M。hadoop2.x版本，大小为128M。

    • minSize就是之前在第2点我们得到的1

    • maxSize也是之前在第3点得到的Long的最大值

    • 所以最终计算出来的切片大小为32M。是块的大小

    ⑩计算完切片大小后，我们来对文件进行切分。具体步骤就是

    ((double) bytesRemaining)/splitSize > SPLIT_SLOP

    如果当前文件大小与切片大小进行相除，结果大于SPLIT_SLOP，也就是1.1，就将文件切一片，并把这个切片的具体信息加入到之前的splits集合中。然后将文件大小减去这个切片大小后，再进行判断是否还是((double) bytesRemaining)/splitSize > SPLIT_SLOP成立，一直循环，知道这个条件不成立。并最终将剩余的切片信息也加入到splits集合中。

    3.JobSplitWriter.createSplitFiles(jobSubmitDir, conf, jobSubmitDir.getFileSystem(conf), array);

    将切片信息写入到Job工作目录下

    ​

yujianxiaoyaobb
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop切片的分析
03-30
hadoop切片的分析。主要描述了切片分析的步骤。。。。
10、Hadoop切片机制
u010502101的博客
03-31 3774
一个超大文件在HDFS上存储时，是以多个Block存储在不同的节点上，比如一个1G的文件，HDFS默认一个Block为128M，那么1G的文件分成8个Block存储在集群中8个节点上。 Hadoop在map阶段处理上述1G的大文件时分成几个MapTask进行处理呢？ ...
hadoop中MR的切片机制源码分析
newhandnew413的博客
07-29 659
上篇关于job提交的源码分析中我们将整体流程大概分析了，本篇重点分析关于其中submit提交过程中对于文件的切片机制进行讨论 在JobSubmitter类中200行左右进行了文件分片的处理，进入其中 再进入主要的writeNewSplits()方法 没有配置的情况下，默认是TextInputFormat，此时调用的是其继承与父类FileInputFormat的getSplits()方法 其中具体获取最大值、最小值的方法如下图 在切片中最重要的就是如下核心代码： 实际读取数据是重写了父类的方法
hadoop-mr-切片
weixin_47781089的博客
03-23 419
数据切片机制 首先说一下数据切片和数据块的区别：数据切片是在**逻辑上对数据进行分片**，并**不改变数据的存储方式**。一个mr任务的map阶段的并行度是由客户端提交job时的切片数决定的。一个切片一个maptask处理，而数据库是在物理上把数据分成一片一片的。 再说一下他们的大小，数据块的大小是128MB,这个是由磁盘传输效率所控制的。而数据切片的数据大小一般和数据块的大小是一样的。这是因为有这么一个**yarn优先原则**：yarn会尽量在数据块的本地启动map task,若切片大小和数据块大小不一
hadoop 切片 & 切片 和 map 的关系
03-20 1400
切片机制（将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split，然后每一个split分配一个map(mapTask)并行实例处理　 map个数：由任务切片spilt决定的，默认情况下一个split的大小就是block参与任务的文件个数决定的） 正常情况下，你不设置切片大小的时候，默认切片与 块 的大小是相同的。 在hadoop的clien...
Hadoop源码分析（完整版）
06-06
Hadoop源码分析（完整版）,详细分析了Hadoop源码程序，为学习Hadoop的人提供很好的入门指导
实战hadoop中的源码
12-15
通过研究Hadoop的源码，开发者可以深入了解其内部工作原理，优化系统性能，并定制化开发满足特定需求的解决方案。 【描述】"实战hadoop，源码，刘鹏，开启通向云计算的捷径"指出，学习Hadoop源码不仅是提升技术能力...
Hadoop源码分析完整版
12-02
总的来说，Hadoop源码分析是提升大数据处理技术深度的重要途径，涵盖的内容广泛且深入，包括分布式文件系统的设计原理、并行计算模型的实现、资源管理的优化策略等多个方面。通过学习和研究，你将能够构建起对Hadoop...
hadoop-2.8.1源码
10-31
本文将围绕"Hadoop 2.8.1源码"这一主题，带你深入理解这个强大系统的核心机制，揭示其背后的分布式存储和计算原理。 Hadoop的核心由两个主要组件构成：HDFS（Hadoop Distributed File System）和MapReduce。HDFS是...
hadoop源码下载
02-19
源码下载是理解Hadoop工作原理、进行二次开发或优化的重要步骤。本篇文章将详细探讨Hadoop源码的相关知识，以及如何获取和解析Hadoop的源代码。 Hadoop的核心组件主要包括两个主要部分：Hadoop Distributed File ...
hadoop切片(Reduce开启规则)
YellowXiuHui的博客
02-25 423
1.一个切片，对应开启一个MapTask。3个切片对应3个MapTask。 2.所有的MapTask结束，才会进到Reduce。就像所有一行一行读取完，才会进入reduce。
hadoop 切片机制详解
热门推荐
congge
01-02 1万+
hadoop切片机制详解
Hadoop（三）——MapReduce③框架原理
zz60708320的博客
10-15 230
一、InputFormat数据输入 1.1 切片与MapTask并行度决定机制 数据块：Block 是 HDFS 物理上把数据分成一块一块 数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储。 1）一个 Job 的 Map 阶段并行度由客户端在提交Job时的切片数决定。 2）每一个 Split 切片分配一个MapTask并行实例处理。 3）默认情况下，切片大小=Bl...
2.7.2-Hadoop切片源码分析
weixin_45162906的博客
03-12 262
输入文件 rain_in/data.txt、data1.txt、data2.txt（62m） 会产生4个切片 1、进入job的任务提交方法job.waitForCompletion 2、首先检查job的状态，然后进入提交方法submit(); 3、ensureState确保状态 setUseNewAPI使用新的API Connect()获得链接的方法，从此方法中能够获得本地或是yarn工作的链接（本地或是yarn） 进入connect()； 4、首先进行判断集群cluster是否为null，如果为nu
hadoop源码分析：切片的执行规则
m0_46589706的博客
05-27 370
接触Hadoop的小伙伴应该都知道，Split（切片）的数目就是MapReduce运行时将要产生的MapTask数，那么Hadoop是如何进行切片的规则是什么呢？ Hadoop的切片功能是在FileInputFormat中实现的，里边定义了切片相关的属性配置和实现切片的getSplit（）方法。以下是FileInputFormat类中与切片相关的属性及属性的get、set方法。 public abstract class FileInputFormat<K, V> extends Inpu
Hadoop中HDFS切片的概念
qq_27896233的博客
06-27 167
Hadoop中HDFS切片的概念
HDFS内部原理解析
calorie的博客
08-17 403
HDFS 定义: 它是一个分布式文件系统,用于存储大文件,分布式系统整合个多台机器的计算能力和存储能力,适合于一次写入数据,多次读出的场景,适合用于数据分析 组成架构: NameNode: 1,管理HDFS的命名空间 2,配置副本策略 3,管理数据块的映射信息 4,处理客户端的读写请求 DataNode: 1,存储实际的数据块 2,执行文件的的读写操作 3,负责块的创建,删除 Second...
Hadoop源码分析之文件拆分
进击的数据小白
04-09 896
InputFormat介绍 当我们编写MapReduce程序的时候，都会进行输入格式的设置，方便hadoop可以根据设置得文件格式正确的读取数据进行处理，一般设置代码如下: job.setInputFormatClass(KeyVakueTextInputFormat.class) 通过上面的代码来保证输入的文件是按照我们想要的格式被读取，所有的输入格式都继承于InputFormat，这是一个抽...
MapReduce切片机制
最新发布
2401_83817971的博客
04-02 245
分布式技术专题+面试解析+相关的手写和学习的笔记pdf《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！
深入解析Hadoop源码：分布式计算基石
"Hadoop源码分析，包括对Hadoop项目的整体结构、主要组件以及关键包的依赖关系进行了详细解析。" 在深入理解Hadoop源码的过程中，首先要关注的是Hadoop的核心组成部分，即分布式文件系统HDFS（Hadoop Distributed ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值