今天写了一个SparkStreaming的测试代码,简单的测试流式读取HDFS中的文件,然后统计WordCount。代码如下:

package com.company.scala.lk

import org.apache.spark.streaming._

/**
 * Created by kai on 15/1/14.
 */
object SparkStreamingTest {
  def loadFile(): Unit = {
    val ssc = new StreamingContext("yarn-client", "streaming test", Seconds(15))
    val fileStreaming = ssc.textFileStream("/user/kai")
    val rs = fileStreaming.flatMap(_.split("\t")).map(w => (w, 1)).reduceByKey(_ + _).print()
    ssc.start()
    ssc.awaitTermination()
  }

  def main(args: Array[String]) {
    loadFile()
  }
}

IDE里面提示找不到“reduceByKey”方法,但是官方资料里说是有该方法的。当时怀疑是不是Spark的版本太低了,然后各种版本确认之后也没发现问题(我用的Spark1.2.0版本),一时无解j_0004.gif


    没办法,上网查吧,最后在Spark的mailing list中找到线索:

http://mail-archives.apache.org/mod_mbox/spark-user/201402.mbox/%3CCAMwrk0mN-Q=c970+Sa7JnBZHUPRRN_YZHkMHqQYb6jLFw2pmsA@mail.gmail.com%3E

原来是缺少“import StreamingContext._”,Scala会将DStream隐式转换成PairDStreamFunctions,该类中有K/V数据类型相关的函数,例如groupByKey、reduceByKey、join等。

查看Spark的源代码,在StreamingContext文件中找到如下代码:

  implicit def toPairDStreamFunctions[K, V](stream: DStream[(K, V)])
      (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null) = {
    new PairDStreamFunctions[K, V](stream)
  }

可以看到,上面的隐式转换函数会将DStream转换为PairDStreamFunctions。

隐式转换函数需要额外import,否则无法正常转换。

可以直接import转换函数:

import org.apache.spark.streaming.StreamingContext.toPairDStreamFunctions

或者import org.apache.spark.streaming.StreamingContext._