spark中mapPartitions双重循环或两次遍历(duplicate)

在spark当中通常需要对mapPartitions内部进行计算，这样可以在不进行网络传输的情况下，对数据进行局部计算

而mapPartitions中的迭代器为Iterator

scala中的Iterator只能进行一次迭代，使用过后就消失了，所以在mapPartitions中既不能两次遍历

如：一次mapPartitions求最大最小值

val it = Iterator(20, 40, 2, 50, 69, 90)
println(“Maximum valued element ” + it.max) // 90
println(“Minimum valued element ” + it.min) // 出错

同理，如果进行双重循环等操作，在内部循环第一次循环完毕时，外部循环也会直接跳出

(而这对于计算而言很重要 )

所以在使用两次遍历或双重循环时需要对Iterator进行拷贝

需要用到关键字    duplicate 和 iter.toList

示例如下：（计算KNN高斯核密度）

def gaussianKernel(iterator: Iterator[DenseVector[Double]]): Iterator[Tuple2[DenseVector[Double], Double]] = {
    var res = List[(DenseVector[Double], Double)]()
    val (bakiter, curiter) = iterator.duplicate
    val (sizeiter, tmpiter) = bakiter.duplicate
    val tmplist = tmpiter.toList
    val curlist = curiter.toList
    val size = sizeiter.size
    val k = sqrt(size).toInt
    curlist.foreach { cur =>
      var sumtmp = 0.0
      val abfDist = ArrayBuffer[Double]()
      tmplist.foreach { tmp =>
        abfDist += exp(-sum(pow(cur - tmp, 2)) / (2.0 * C))
      }
      val abfDistSorted = abfDist.sorted
      for (i <- 0 until k) {
        sumtmp += abfDistSorted(size - 1 - i)
      }
      res.::=(cur, sumtmp)
    }
    res.iterator
  }