Spark
文章平均质量分 80
caiyefly
这个作者很懒,什么都没留下…
展开
-
hive参数调优
hive指定spark为数据执行引擎,hive参数调优原创 2022-11-03 10:38:07 · 553 阅读 · 1 评论 -
Spark如何做到全局有序
Spark应用了一个分区器叫做(rangePartitioner)rangePartitioner在计算之前,会对数据进行采样(水塘采样)看看一共有多少条数据,数据范围。rangePartitioner会根据下个阶段有多少个分区将数据进行划分。将来在shuffer的时候会将数据shuffer到对应的分区中。在Spark中分区器直接决定了RDD中分区的个数;也决定了RDD转载 2017-08-24 22:22:18 · 5479 阅读 · 0 评论 -
Spark中广播变量知识点
为什么要使用广播变量,广播变量的好处及用法原创 2017-08-25 11:00:31 · 14572 阅读 · 0 评论 -
Spark程序执行过程中遇到的线程安全问题及解决办法
原创 2017-09-02 13:18:28 · 3336 阅读 · 0 评论