![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 91
识醉沉香
渣渣一枚
展开
-
sparkSQL总结
spark sql原创 2022-07-14 18:59:23 · 790 阅读 · 0 评论 -
spark基础知识
目录1. RDD1.1 RDD的创建1.2 持久化1.3 分区1.4 RDD相关的操作1.4.1 转换操作1.4.2 行动操作1.4.3 PairRDD(键值对)1. RDD本质:一个RDD就是一个分布式对象集合,本质上是一个只读的分区记录集合,每个RDD可分成多个分区,每个分区就是一个数据集片段。// 创建一个spark config val sparkConf = new SparkConf().setMaster(config("spark.cores")).setAppName("zh原创 2022-05-21 11:46:36 · 907 阅读 · 0 评论