Spark数据分区的源码分析

最新推荐文章于 2023-06-01 10:47:50 发布
VIP文章 最新推荐文章于 2023-06-01 10:47:50 发布
阅读量809 收藏 1
点赞数 4
分类专栏： Spark学习 文章标签： spark hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38263082/article/details/122625765
版权

这里我们主要分析一下 在Spark中创建RDD时候数据是如何分区的。

以一个集合数据为例：val listRdd = sc.makeRDD(List(1,2,3,4))点进makeRDD方法
Sparkcontext类的makeRDD方法
makeRDD方法有两个参数：
Seq：传入的序列
numSlices：切片数，没有制定的会有默认的defaultParallelism，默认的切片数与本机的内核数有关

点进parallelize方法，在点 getPartitions方法里的slice方法
在这里插入图片描述

最低0.47元/天 解锁文章
Elevenzzxp
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Spark的零售交易数据分析
06-24
该项目是大三下学期的课程设计，选取了共541909条数据，以Python为编程语言，使用大数据框架Spark对数据进行了预处理，然后分别从多个方面对数据进行了分类和分析，并对分析结果进行可视化。里面包含我的课程设计...
spark中rdd分区源码分析——parallelize()创建rdd时的分区分析
youmianzhou的博客
11-15 1775
spark很让人迷惑的问题就是分区了。 1.spark可以分成两代，第一代是rdd，主要是用来分析日志文件比较多，rdd里面就涉及到了分区的概念，spark是怎么去执行一个程序的。到了第二代，sparksql，已经没有需要个人自己去分区了，更多是操纵表，写sql。 2.spark分区原则： (1)rdd分区的原则是尽量利用集群中的cpu数量，比如一个wordcount任务，一开始根据整个集群中cpu的个数，分成的份数尽量等于cpu核数，就可以充分利用cpu的资源。 (2)rdd在有两种创建方法，分别是par
Spark中parallelize函数和makeRDD函数的区别
u013939918的博客
04-01 2746
我们知道，在Spark中创建RDD的创建方式大概可以分为三种：（1）、从集合中创建RDD；（2）、从外部存储创建RDD；（3）、从其他RDD创建。 　　而从集合中创建RDD，Spark主要提供了两中函数：parallelize和makeRDD。我们可以先看看这两个函数的声明： [plain] view plain copy  print? d
SparkRDD并行度与分区算法源码研究
石榴姐yyds
01-09 534
0 引 言 1 RDD并行度与分区 1.1 概念解释 默认情况下，Spark可以将一个作业切分多个任务后，发送给Executor节点并行计算，而能够并行计算的任务数量我们称之为并行度。这个数量可以在构建RDD时指定。记住，这里的并行执行的任务数量，并不是指的切分任务的数量，不要混淆了。 makeRDD的源码 val sparkConf = new SparkConf().setMaster("local[*]").setAppName("spark") val sparkContext...
spark学习
etastgrehyjrt的博客
10-24 357
spark学习
spark中slice方法
mldxrer的博客
06-01 214
方法可以接收两个参数：起始位置和结束位置。它会返回一个新的 RDD,其中包含从原始 RDD 中提取出来的元素。是一个方法，用于从一个 RDD(弹性分布式数据集)中提取指定范围的元素。slice之后返回一个新的 RDD,其中包含整数 3、4、5。方法不会修改原始的 RDD,而是返回一个新的 RDD。在 Spark 中，
基于Spark的电影数据集分析
06-24
使用的数据集来自知名数据网站 Kaggle 的 tmdb-movie-metadata 电影数据集，以Python为编程语言，使用大数据框架Spark对数据进行了预处理，然后分别从多个方面对数据进行了分类和分析，并对分析结果进行可视化。...
基于Java的Spark大数据分析设计源码
最新发布
04-04
该项目主要展示了Spark大数据框架的基本使用，用于分析数据，支持的数据类型包括Excel和MySQL。适合用于学习和实践Java、JavaScript、CSS和HTML技术，以及开发基于Spark的大数据分析相关的系统。
spark数据分析基础
11-09
随着实时大数据应用越来越多，Hadoop作为离线的高吞吐、低响应...同时Spark自身的DAG执行引擎也支持数据在内存中的计算。Spark官网声称性能比Hadoop快100倍。即便是内存不足需要磁盘IO，其速度也是Hadoop的10倍以上。
spark 源码分析
01-25
《Apache Spark源码剖析》以Spark 1.02版本源码为切入点，着力于探寻Spark所要解决的主要问题及其解决办法，通过一系列精心设计的小实验来分析每一步背后的处理逻辑。 《Apache Spark源码剖析》第3~5章详细介绍了...
Spark 系列（四）—— RDD常用算子详解
黑白影的博客
06-08 981
一、Transformation spark常用的Transformation算子如下表： Transformation算子 Meaning（含义） map(func) 对原RDD中每个元素运用 func 函数，并生成新的RDD filter(func) 对原RDD中每个元素使用func 函数进行过滤，并生成新的RDD flatMap(func) 与 map 类似，但是每一...
SparkSql数组操作的N种骚气用法
xiaoluobutou的专栏
02-22 2688
总结一下sparksql（基于branch3.3） 中 array操作相关的骚气用法，这恐怕是总结的最全的一篇了，哈哈~~
【Spark六十五】slice、partition和inputsplit
bit1129的博客
02-15 1875
slice和paritition是spark中的通用概念，表示一个原始数据块；比如使用SparkContext.parallelize方法可以把一个元素集合(不论多少元素）可以分解为多个分区(partition) Spark的partition可以是MapReduce中的input split，input split是Hadoop中的数据块的逻辑表示方式，input split可以一个或多...
05 Spark on 读取内部数据分区存储策略(源码角度分析)
lucklilili
12-27 488
RDD-数据存储分区策略源码角度分析 RDD-Local模式源码角度分析分区数策略地址：https://blog.csdn.net/lucklilili/article/details/115432028 针对下面代码片段源码角度进行分析，创建RDD并且调用saveAsTextFile()函数，最终执行结果为part-00000 => 1、part-00000 => 2 3、part-00003=> 4 5 Step1: 调用makeRDD函数,长度size = 5，分区数..
Spark基础-parallelize函数和makeRDD函数的区别
liweiminlining的专栏
03-23 2025
Spark基础-parallelize函数和makeRDD函数的区别
spark RDD 算子(一) paralleize,makeRDD,textFile
zhenS1mple的博客
11-12 257
parallelize 调用SparkContext 的 parallelize()，将一个存在的集合，变成一个RDD. Scala版本 def parallelize[T](seq: Seq[T], numSlices: Int = defaultParallelism)(implicit arg0: ClassTag[T]): RDD[T] - 第一个参数一是一个 Seq集合 - 第二个参数是分区数 - 返回的是RDD[T] scala> sc.parallelize(List("nanj
SparkContext的parallelize的参数
热门推荐
caoli98033的专栏
12-06 2万+
在一个Spark程序的开始部分，有好多是用sparkContext的parallelize制作RDD的，是ParallelCollectionRDD，创建一个并行集合。 例如sc.parallelize(0 until numMappers, numMappers) 创建并行集合的一个重要参数，是slices的数目（例子中是numMappers），它指定了将数据集切分为几份。 在集群模式中，
spark之特征提取
霜叶的博客
10-03 1021
1、特征处理分类 特征抽取：从原始数据中抽取特征 特征转换：特征的维度、特征的转化、特征的修改 特征选取：从大规模特征集中选取一个子集 2、特征提取 2.1、TF-IDF 词频－逆向文件频率；词频TF(t,d)是词语t在文档d中出现的次数。文件频率DF(t,D)是包含词语的文档的个数。 tf=|t|/|d| tf-idf=tf*idf 公式中使用log函数，当词出现在所有文档中时，它的IDF值变为0。加1是为了避免分母为0的情况。 Spark.mllib 中实现词频率统计使用特征has.
Spark中的向量Vectors
weixin_42292787的博客
10-08 5298
哈哈哈
spark 读取 hdfs 数据分区规则
03-16
Spark 读取 HDFS 数据分区规则是根据 HDFS 存储文件的分块规则来进行的。HDFS 将文件分成多个块，每个块的大小默认为 128MB，块的数量由文件大小和块大小决定。Spark 读取 HDFS 数据时，会根据文件的块数来确定分区...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值