![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
weixin_43569343
这个作者很懒,什么都没留下…
展开
-
spark之RDD
在Spark 2.0之前,Spark的主要编程接口是弹性分布式数据集(即RDD)。如果spark程序运行在HDFS上的话,RDD的本质是一个HDFS上的文件。在Spark 2.0之后,RDD被数据集(DataSet)所取代,该数据集类似于RDD的强类型,在新的引擎下具有更丰富的优化。RDD接口仍然受支持,我们仍然可以在RDD编程指南中获得更完整的参考。但是,spark强烈建议我们切换到使用数据集,...原创 2019-04-16 00:21:45 · 118 阅读 · 0 评论 -
Spark-RDD创建方式
RDD的创建方式 从外部存储系统中获取 从父RDD转换得到新的RDD 调用SparkContext的parallelize方法,将Driver上的数据集并行化,转化为分布式的RDD。 更改RDD的持久性(persistence),例如cache()函数。默认RDD计算后会在内存中清除。通过cache函数将计算后的RDD缓存在内存中。 创建方式两种: #第一类方式是通过文件系统构造R...原创 2019-04-16 00:30:14 · 669 阅读 · 0 评论