Spark Streaming从1.4.1升级至2.0.0-preview遇到的问题汇总
Spark Streaming以及Kafka依赖问题(pom.xml)
- 1.4.1
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka_2.10</artifactId>
<version>1.4.1</version>
</dependency>
- 2.0.0-preview
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka-0-8_2.10</artifactId>
<version>2.0.0-preview</version>
</dependency>
import org.apache.spark.Logging的问题
项目中继承org.apache.spark.Logging
类,并自定义了日志打印方法。但是在2.0.0-preview
版本中,org.apache.spark.Logging
这个类并不存在,转移到org.apache.spark.internal.Logging
。不同的是,在2.0.0-preview
版本中,这已经不是DeveloperApi了。
- 1.4.1部分源码
trait Logging{
...
}
- 2.0.0-preview部分源码
private[spark] trait Logging{
...
}
提交代码报错Caused by: java.lang.ClassNotFoundException: scala.collection.GenTraversableOnce$class
- 目前已同步系统与依赖Scala、Spark版本
- 以升级Scala IDEA
- 通过将
spark-2.0.0-bin-hadoop2.4.tgz
升级为spark-2.0.0-bin-hadoop2.6
问题解决