![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark学习
Elevenzzxp
一枚sqlboy
展开
-
Spark 结构化API-DataFram、SparkSQL
本文主要介绍Spark中结构化API的使用原创 2022-01-28 23:43:40 · 1388 阅读 · 0 评论 -
WordCount程序
使用Java、Scala编写WordCount程序原创 2022-01-22 14:39:44 · 1865 阅读 · 1 评论 -
Spark数据分区的源码分析
这里我们主要分析一下 在Spark中创建RDD时候数据是如何分区的。以一个集合数据为例:val listRdd = sc.makeRDD(List(1,2,3,4))点进makeRDD方法makeRDD方法有两个参数:Seq:传入的序列numSlices:切片数,没有制定的会有默认的defaultParallelism,默认的切片数与本机的内核数有关点进parallelize方法,在点 getPartitions方法里的slice方法slice方法的逻辑:1.如果传入的numSlices&原创 2022-01-21 17:47:54 · 820 阅读 · 0 评论