1.
import org.apache.spark.SparkContext._
表示引用SparkContext类里面的所有成员
import org.apache.spark._
表示应用org.apache.spark包下的所有类
import org.apache.spark.{SparkConf, SparkContext}
表示同一个包下的多个类,可以写到一起
import org.apache.spark.{SparkContext=>SC}
表示在使用SparkContext的地方,可以使用它的别名SC,比如SparkContext sc可以写成SC sc
2.private作用域
private[this] :只有同一个对象中可见,这就是Java的private的含义吧?
private[spark] class Hello表示什么含义
表示这个类只能在包名中含有spark的类中访问
如下所示的代码,private[spark],看上去像是指定private的作用域?
package org.apache.spark.rdd
import scala.reflect.ClassTag
import org.apache.spark.{Partition, TaskContext}
private[spark]
class MappedRDD[U: ClassTag, T: ClassTag](prev: RDD[T], f: T => U)
extends RDD[U](prev) {
override def getPartitions: Array[Partition] = firstParent[T].partitions
override def compute(split: Partition, context: TaskContext) =
firstParent[T].iterator(split, context).map(f)
}
3. 在ExternalAppendOnlyMap中有如下代码,Iterator((key,value))的含义是把(key,value)这个元素构造成集合,然后返回对应的Iterator?
Iterator这个类,是一个类别名,在package.scala中有如下的定义,
val Iterator = scala.collection.Iterator
/**
* Insert the given key and value into the map.
*/
def insert(key: K, value: V): Unit = {
insertAll(Iterator((key, value)))
}