- 博客(3)
- 收藏
- 关注
原创 Scala中List集合的用法
object ListTest { /**Scala Collection * Scala 集合分为可变的和不可变的集合。 * 可变集合可以在适当的地方被更新或扩展。这意味着你可以修改,添加,移除一个集合的元素。 * 而不可变集合类,相比之下,永远不会改变。 * 不过,你仍然可以模拟添加,移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合,同时使原来的集合不发生改变。 * * List的特征是其元素以线性方式存储,集合中可以存放重复对象。 * Sca
2020-10-19 17:56:56 325
原创 Spark-RDD创建方式
RDD的创建方式从外部存储系统中获取从父RDD转换得到新的RDD调用SparkContext的parallelize方法,将Driver上的数据集并行化,转化为分布式的RDD。更改RDD的持久性(persistence),例如cache()函数。默认RDD计算后会在内存中清除。通过cache函数将计算后的RDD缓存在内存中。创建方式两种:#第一类方式是通过文件系统构造R...
2019-04-16 00:30:14 672
原创 spark之RDD
在Spark 2.0之前,Spark的主要编程接口是弹性分布式数据集(即RDD)。如果spark程序运行在HDFS上的话,RDD的本质是一个HDFS上的文件。在Spark 2.0之后,RDD被数据集(DataSet)所取代,该数据集类似于RDD的强类型,在新的引擎下具有更丰富的优化。RDD接口仍然受支持,我们仍然可以在RDD编程指南中获得更完整的参考。但是,spark强烈建议我们切换到使用数据集,...
2019-04-16 00:21:45 124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人