- 博客(3)
- 收藏
- 关注
RSS订阅原创 Scala中List集合的用法
object ListTest { /**Scala Collection * Scala 集合分为可变的和不可变的集合。 * 可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。 * 而不可变集合类，相比之下，永远不会改变。 * 不过，你仍然可以模拟添加，移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合，同时使原来的集合不发生改变。 * * List的特征是其元素以线性方式存储，集合中可以存放重复对象。 * Sca
2020-10-19 17:56:56
318
原创 Spark-RDD创建方式
RDD的创建方式 从外部存储系统中获取 从父RDD转换得到新的RDD 调用SparkContext的parallelize方法，将Driver上的数据集并行化，转化为分布式的RDD。 更改RDD的持久性（persistence），例如cache()函数。默认RDD计算后会在内存中清除。通过cache函数将计算后的RDD缓存在内存中。 创建方式两种： #第一类方式是通过文件系统构造R...
2019-04-16 00:30:14
661
原创 spark之RDD
在Spark 2.0之前，Spark的主要编程接口是弹性分布式数据集（即RDD）。如果spark程序运行在HDFS上的话，RDD的本质是一个HDFS上的文件。在Spark 2.0之后，RDD被数据集（DataSet）所取代，该数据集类似于RDD的强类型，在新的引擎下具有更丰富的优化。RDD接口仍然受支持，我们仍然可以在RDD编程指南中获得更完整的参考。但是，spark强烈建议我们切换到使用数据集，...
2019-04-16 00:21:45
114
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人