Spark RDD转换成其他数据结构

在Spark推荐系统编程中，一般都是通过文件加载成RDD：

//在这里默认 (userId, itemId, preference)
val fields = sparkContext.textFile("").split("\t").map{ field =>
    field(1), field(2), field(3)
}

然后直接操作RDD，诸如：

groupBy(field._1)
map (field._2)
sortBy(field._3)

但是某些时候，想用到scala的数据结构比如TreeMap、HashMap之类的。

在scala里，集合之间的转换可以通过fold, foldLeft, foldRight
fold只能同构转换，而foldLeft在scala程序中能用，但是在RDD不能用，这涉及到并行的问题

在scala集合中，foldLeft可以这样用：

//数据格式为
//  TreeMap(userId, TreeMap(itemId, preference))
val preferences = fields.foldLeft(
    TreeMap[Long, TreeMap[Long, Double]]()) { 
    (m, e) =>
      val (userId, itemId, preference) = e

      val values = m.getOrElse(
      userId, TreeMap[Long, Double]())

      m + (userId->(values+(itemId->preference)))
  }

RDD不能用foldLeft，官方提供了一个方法aggregate

Aggregate the elements of each partition, and then the results for all the partitions, using given combine functions and a neutral “zero value”.
This function can return a different result type, U, than the type of this RDD, T.
Thus, we need one operation for merging a T into an U and one operation for merging two U’s, as in scala.TraversableOnce.
Both of these functions are allowed to modify and return their first argument instead of creating a new U to avoid memory allocation.

aggregate函数将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致。

aggregate函数原型:

def aggregate[U: ClassTag](zeroValue: U)(
seqOp: (U, T) => U, combOp: (U, U) => U): U

RDD用aggregate转换成其他数据结构：

//  TreeMap(userId, TreeMap(itemId, preference))
val preferences = fields.aggregate(
    TreeMap[Long, TreeMap[Long, Double]]()) (
    { 
    (m, e) =>
      val (userId, itemId, preference) = e

      val values = m.getOrElse(
      userId, TreeMap[Long, Double]())

      m + (userId->(values+(itemId->preference)))
  },
  {
    (map1, map2) =>
    map1 ++ map2
  })

通过这样，我们就得到了从RDD转换成TreeMap数据结构。

值得注意的是，通过aggregate函数是相当于把数据collect到Driver上，因此对转换后的数据结构操作并不能像RDD那样分布式