Learning Spark 笔记(一) -- Lazy优势和transformation传参

1. lazy valuation的优势。它是为大数据而生的，目标是减少迭代次数，节约时间和空间。比如下面的这一段代码

    val text = sc.textFile("...")
    val python_lines = text.filter(x=>x.contains("python"))
    python_lines.first

程序只有遇到rdd.first类似的action才会去真正的执行textFile和filter，整个文件并没有全部读完就已经结束了，节省了时间开销和内存开销。
2. 向transformation传入函数时，注意不要传入对象的字段或者函数，因为这样会把整个对象分发出去，增加内存网络开销。看下面代码：

    class SearchFunctions(val query: String) {
        def isMatch(s: String): Boolean = {
            s.contains(query)
        }
        def getMatchesFunctionReference(rdd: RDD[String]): RDD[String] = {
            // Problem: “isMatch” means “this.isMatch”, so we pass all of “this”
            rdd.map(isMatch)
        }
        def getMatchesFieldReference(rdd: RDD[String]): RDD[String] = {
            // Problem: “query” means “this.query”, so we pass all of “this”
            rdd.map(x => x.split(query))
        }
        def getMatchesNoReference(rdd: RDD[String]): RDD[String] = {
            // Safe: extract just the field we need into a local variable
            val query_ = this.query
            rdd.map(x => x.split(query_))
        }
    }

由上面的代码可知，query是属于SearchFunctions的一个字段，isMatch也是属于该类对象的函数。第2、3、4个函数中含有transformation操作，其中第二个和第三个分别是传入了isMatch函数和query字段，这直接导致的一个结果是把整个对象分发到每个分区了。最后一个是比较安全的做法，首先把字段赋给一个局部变量，然后把局部变量传入transformation的函数当中去，这样就不会把整个对象分发，节约了网络和内存开销。