Spark学习笔记(1)

• 隐式转换
  导入

import ort.apache.spark.SparkContext._

执行隐式转换，理解为：RDD根据其所存储信息类型的不同，为方便后续执行特定方法，隐式转化为对应类型的RDD（数值型或键值对型）。

• 持久化缓存
  当需要多次使用同一个RDD，先对RDD进行持久化，即调用persist()将持久化RDD加入缓存

import ort.apache.spark.storage.StroageLevel
val result = input.map(x => x * x)
result.persist(StorageLevel.DISK_ONLY)
println(result.count)
println(result.collect().mkString(","))

• 为分布式数据集选择正确的分区方式、为本地数据集选择合适的数据结构，可提升程序的性能

1. Pair RDD的转化操作
   对单一Pair RDD(形如{(1, 2), (3, 4), (5, 6)}的数据集)
   reduceByKey((x, y) => x + y) # 将相同键对应的值相加
   groupByKey(x, y) # 将相同的键下的值进行合并
   flatMapValues(func) # 对值操作func，并以对应原键的键值对的方式返回
2. 对两个Pair RDD的转化
   subtractByKey # 筛选对象中有，而参数中无的键的键值对记录