Spark 学习笔记

最新推荐文章于 2024-07-03 07:15:00 发布
最新推荐文章于 2024-07-03 07:15:00 发布
阅读量234 收藏
点赞数
分类专栏： 技术小白 笔记记录 文章标签： Spark 基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jsm_ming/article/details/91382487
版权

Spark

spark出现的契机：
　　Hadoop设计中在进行数据计算的时候要进行频繁的数据落地，因此出现磁盘IO瓶颈，在这种情况下，内存计算应运而生，spark的优势就是内存计算，在牺牲一部分内存的情况下，提高的效率是非常合算的

1. Spark的特点：

  1. 他是由scale编写，底层基于actor的模式akka框架，代码简洁
  2. 基于DAG（有向无环图）的执行引擎，减少了计算时频繁将数据写入到磁盘中，降低磁盘IO
  3. 同时建立在RDD（弹性分布式数据集）上，可以以一致的结构应对不同的大数据处理请求
  4. RDD（弹性分布式数据集，Resilient Distributed Dataset）是spark处理数据的基础，和统一的数据结构，本质上是一种分布式数据结构
  5. 提供Cache机制来实现数据缓冲进一步提升性能
  6. Spark的生态圈也越来越丰富
  7. 支持多种语言Java、Python、Scala、R
  8. 同时兼容HDFS作为存储结构，可以使用YARN作为协调框架

2. RDD（弹性分布式数据集）

RDD，是Spark的核心抽象，表示用于并行计算，不可修改，对数据集合进行分区的分布式数据结构。不同来源的数据都可以经过变换变为RDD再进行Spark处理
RDD数据集全部或者部分缓冲到内存中，多次计

最低0.47元/天 解锁文章
Jsm_ming
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark 实现重新分区 partitionBy、coalesce、repartition（附代码演示）
m0_55685698的博客
04-18 3433
coales参数1，传入分区个数 参数2，传入 shuffle，默认为 False，为False则不进行shuffle，带有分区捆绑进行重新分区 若shuffle = True， 则进行shuffle操作，不带有分区捆绑进行重新分区 分区更加均匀（避免数据倾斜） 调用方式 coalesce既可以实现RDD分区的合并缩小，也可以实现RDD分区的扩大 调用方式 返回一个新的RDD，它刚好有numPartitions（参数1）个分区。 调用方式 repartition默认开启s
Spark如何用repartition来提升执行效率
Hanhahahahah的博客
02-02 704
在这种情况下，Spark会尽量保证每个分区中的数据量大致相等，但并不能保证每个分区中的数据在业务逻辑上的均匀分布。也就是说，如果你的数据在某个特定的列上有特定的分布模式，那么在重新分区后，这种分布模式可能会被打乱。果在调用 repartition 方法时没有指定列，那么Spark会将数据均匀地分布到指定数量的分区中，但具体的分区策略是不确定的。需要注意的是，repartition 操作会引发全量数据的洗牌，可能会消耗大量的计算和I/O资源，因此在使用时需要谨慎考虑。
repartition和coalesce的区别
iyak78的博客
12-25 2576
repartition和coalesce的区别 两个都能调整分区数,但repartition的底层依然是调用了coalesce coalesce的语法: coalesce(num,shuffle=False) 默认不启动shuffle repartition的语法: repartition(num) 默认启动shuffle repartition中将shuffle改成了ture,且参数不可修改 因此,repartition常用于增加分区,coalesce常用于减小分区 关键就在于shuff
地表最强系列之浅谈Spark中的 repartition
qq_40375298的博客
03-15 3328
repartition 源码 /** * Return a new RDD that has exactly numPartitions partitions. * * Can increase or decrease the level of parallelism in this RDD. Internally, this uses * a shuffle to redistribute data. * * If you are decreasing the num
spark 大型项目实战(四十一):算子调优之使用repartition解决Spark SQL低并行度的性能问题
u012957549的博客
06-24 7793
并行度：之前说过，并行度是自己可以调节，或者说是设置的。 1、spark.default.parallelism 2、textFile()，传入第二个参数，指定partition数量（比较少用） 咱们的项目代码中，没有设置并行度，实际上，在生产环境中，是最好自己设置一下的。官网有推荐的设置方式，你的spark-submit脚本中，会指定你的application总共要启动多少个executo...
Spark学习笔记
06-03
本人学习Spark过程中记录的笔记，从基础到优化基本上都包括了。虽然受限于本人技术，本笔记还是有些简单！但是也是比较全面的！
Spark算子：RDD基本转换操作–coalesce、repartition
沈春旭的博客
08-06 1054
1. coalesce def coalesce(numPartitions: Int, shuffle: Boolean = false)(implicit ord: Ordering[T] = null): RDD[T] 该函数用于将RDD进行重分区，使用HashPartitioner。第一个参数为重分区的数目，第二个为是否进行shuffle，默认为false. 代码测试如下： s...
coalesce 与 repartition的区别
newchitu的博客
08-23 4421
目录 一.spark 分区 partition的理解 二.coalesce 与 repartition的区别（我们下面说的coalesce都默认shuffle参数为false的情况） 三.实例 1. coalesce 2. repartition 四.总结 一.spark 分区 partition的理解 spark中是以vcore级别...
Spark 之 重新设置分区的个数repartition()。
热门推荐
qq_29499107的博客
08-13 1万+
业务需求： 有事我们从hdfs上用spark 进行处理，很有可能 在hdfs 有多个block ,spark就会默认有多少个分区，在经过我们自己的逻辑计算后，得到的最后的结果数据并不是很大，同时想把它输出为一个文件，同理相反 想把她输出为多个文件，这时 repartition( num ) 就可以解决： demo: scala> var a = sc.paralleli...
深入解析 Spark SQL 中的 REPARTITION 操作
最新发布
weixin_42326851的博客
07-03 1092
深入解析 Spark SQL 中的 REPARTITION 操作
重新分区算子coalesce和repartition
FlatTiger的博客
03-21 535
coalesce 说明 包括shuffle和不发生shuffle两种方式。 主要用于缩减分区，大数据集过滤后，提高小数据集的执行效率。 函数签名 代码示例 val conf: SparkConf = new SparkConf().setAppName(this.getClass.getName).setMaster("local[*]") val sc = new SparkContext(conf) val rdd: RDD[Int] = sc.makeRDD(1 to 1
源码详解Spark的repartition与partitionBy
zwlll19900607的专栏
12-30 1255
在Spark中可以使用repartition与partitionBy调整RDD的分区数，其实就是调整RDD的并行度。那么这两个算子调节RDD分区数有什么区别呢？ 1、使用对象不同 repartition：可以对普通RDD和pariRDD进行重分区 partitionBy：只能对pariRDD进行重分区 2、实现方式不同 repartition：为RDD的每个记录生成一个随机数，对这个随机...
Spark repartition和coalesce的区别
赵英超的博客
08-17 934
我们常认为coalesce不产生shuffle会比repartition 产生shuffle效率高，而实际情况往往要根据具体问题具体分析，coalesce效率不一定高，有时还有大坑，大家要慎用。coalesce 与 repartition 他们两个都是RDD的分区进行重新划分，repartition只是coalesce接口中shuffle为true的实现（假设源RDD有N个分区，需要重新划分成M个分区）1）如果N<M。
coalesce/repartition 详解
weixin_34310127的博客
06-09 292
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark中repartition和coalesce的用法
jkllb123的博客
10-15 265
repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int，shuffle:Boolean=false):RDD[T] 他们两个都是RDD的分区进行重新划分，repartition只是coalesce接口中shuffle为true的简易实现，（假设RDD有N个分区，需要重新划分成M个分区） 1）、N<M。一般情况下N个分区有数据分布不均...
Spark006---coalesce和repartition
此心安处是吾乡
11-18 1265
Intro 常用的重分区操作，简单记录下 coalesce 根据数据量缩减分区，用于大数据集过滤后，提高小数据集的执行效率。当 spark 程序中，存在过多的小任务的时候，可以通过 coalesce 方法，收缩合并分区，减少分区的个数，减小任务调度成本 默认情况下，不shuffle 即增加分区数，没有变化 减少分区数，会把该分区数据增加到其他分区中，原有分区数据保持不变 import org.apache.spark.sql.SparkSession import org.apache.spark.rd
Spark 算子之coalesce与repartition
congge_study的博客
04-23 1874
Spark 算子之coalesce与repartition
Spark学习-Coalesce()方法和rePartition()方法
JacksonKing的专栏
01-17 261
最近使用spark中遇到了重分区的问题，本文对下面三篇文章内容按照自己逻辑进行整理，mark下！！ https://www.cnblogs.com/fillPv/p/5392186.html https://blog.csdn.net/do_yourself_go_on/article/details/74315834 https://blog.csdn.net/u011981433/art...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值