![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
karanz
这个作者很懒,什么都没留下…
展开
-
SparkStreaming 反压机制
SparkStreaming 反压机制当批处理时间(Batch Processing Time)大于批次间隔(Batch Interval,即 BatchDuration)时,说明处理数据的速度小于数据摄入的速度,持续时间过长或源头数据暴增,容易造成数据在内存中堆积,最终导致Executor OOM或任务奔溃。Spark 1.5以前版本,基于Receiver的数据源,可以通过设置spark.streaming.receiver.maxRate来控制最大输入速率;若是基于Direct的数据源(如Kafka原创 2020-05-15 16:37:01 · 235 阅读 · 0 评论 -
Spark优化点
Spark为什么要使用累加器与广播变量原创 2020-05-13 15:31:38 · 192 阅读 · 0 评论 -
Spark中RDD分区以及节点
Spark中RDD分区对于二元rdd使用时,例如在使用join()时 我们对数据集是如何分区的却一无所知。默认情况下,连接操作会将两个数据集中的所有键的哈希值都求出来,将该哈希值相同的记录通过网络传到同一台机器 上,然后在那台机器上对所有键相同的记录进行连接操作,会非常消耗性能,如果一个数据集设定分区,那么在join时Spark就知道如何分区第二个数据集就会默认按照第一个进行数据分发,降低了网络...原创 2020-04-17 10:32:33 · 620 阅读 · 0 评论 -
SparkRDD
RDD叫做分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD属性一组分片(Partition),即数据集的基本组成单位。对于RDD来说,每个分片都会被一个计算任务处理,并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数,如果没有指定,那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。一个计算每个分...原创 2020-03-26 15:16:01 · 154 阅读 · 0 评论