Spark Streaming从1.4.1升级至2.0.0-preview遇到的问题汇总

Spark Streaming从1.4.1升级至2.0.0-preview遇到的问题汇总

---

Spark Streaming以及Kafka依赖问题(pom.xml)

• 1.4.1

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka_2.10</artifactId>
    <version>1.4.1</version>
</dependency>

• 2.0.0-preview

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-8_2.10</artifactId>
    <version>2.0.0-preview</version>
</dependency>

import org.apache.spark.Logging的问题

　　项目中继承org.apache.spark.Logging类，并自定义了日志打印方法。但是在2.0.0-preview版本中，org.apache.spark.Logging这个类并不存在，转移到org.apache.spark.internal.Logging。不同的是，在2.0.0-preview版本中，这已经不是DeveloperApi了。

• 1.4.1部分源码

trait Logging{
    ...
}

• 2.0.0-preview部分源码

private[spark] trait Logging{
   ...
}

提交代码报错Caused by: java.lang.ClassNotFoundException: scala.collection.GenTraversableOnce$class

1. 目前已同步系统与依赖Scala、Spark版本
2. 以升级Scala IDEA
3. 通过将spark-2.0.0-bin-hadoop2.4.tgz升级为spark-2.0.0-bin-hadoop2.6问题解决