Spark读取hdfs分片数据源码剖析

最新推荐文章于 2023-10-04 15:21:04 发布

程序员小李的开发路

最新推荐文章于 2023-10-04 15:21:04 发布

阅读量629

点赞数 2

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/qq_41130274/article/details/106062412

版权

spark 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

val lines: RDD[String] = sparkContext.textFile(args(0)) 我们通过 sparkContext.textFile来读取hdfs中某一数据
正常来说，应该是有几个文件就创建几个分区
然而我们dubug的时候发现，有时候3个文件却创建了4个分区
其实这是由于spark中对于hdfs分片数据拉取的源码
首先我们在用testFile时，若不指定分区数量，则默认使用最小值=2

    long goalSize = totalSize / (long)(numSplits == 0 ? 1 : numSplits);

spark中用了goalSize这个属性，来定义一个理想的大小，totalSize为传入数据总大小，numSplits为分区数.

8. long splitSize = this.computeSplitSize(goalSize, minSize, blockSize); .     
9. protected long computeSplitSize(long goalSize, long minSize, long blockSize) {
        return Math.max(minSize, Math.min(goalSize, blockSize));
    }

调用computeSplitSize算出splitSize

for(bytesRemaining = length; (double)bytesRemaining / (double)splitSize > 1.1D; bytesRemaining -= splitSize) {
                        splitHosts = this.getSplitHostsAndCachedHosts(blkLocations, length - bytesRemaining, splitSize, clusterMap);
                        splits.add(this.makeSplit(path, length - bytesRemaining, splitSize, splitHosts[0], splitHosts[1]));
                    }