- 博客(2)
- 收藏
- 关注
RSS订阅转载 Spark函数
1、RDD提供了两种类型的操作：transformation和action所有的transformation都是采用的懒策略，如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发。1）transformation操作：得到一个新的RDD，比如从数据源生成一个新的RDD，从RDD生成一个新的RDDmap(func):对调用map的RDD数据集中的每个...
2018-05-18 11:04:32
1187
原创 Spark-Scala常用函数
一、读取 1、textFile() 读取外部数据源 2、 map() 遍历每条数据处理 3、mapvalues(_+10) 传入一个函数，类似于map方法，不过这里只是对元组中的value进行计算 4、keys values val rdd1 = sc.parallelize(List("dog", "tiger", "lion", "cat", "panther"...
2018-05-18 10:46:46
2744
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人