Eclipse下开发Spark程序
环境
Spark-1.4.1
scala ide for eclise的版本号为:4.4.0操作
在scala ide中创建scala工程,导入$SparkHome中lib下的spark-assembly-1.4.1-hadoop2.4.0.jar包。按理说,现在就可以在工程中进行Spark程序的开发了。但是scala ide提示一个错误。错误
More than one scala library found in the build path ($SCALAIDE_HOME/plugins/org.scala-lang.scala-library_2.11.2.v20140721-095018-73fb460c1c.jar, $SPARK_HOME/lib/spark-assembly-1.3.0-hadoop2.4.0.jar). At least one has an incompatible version. Please update the project build path so it contains only compatible scala libraries.
原因
4.4.0版本的Scala IDE自带的scala版本为:2.11.8和2.10.6。而1.4.1版本的spark中的spark-assembly-1.4.1-hadoop2.4.0.jar集成包中集成的scala版本是2.10.4。解决办法
下载2.10.4版本的scala,并添加到IDE中。将工程中使用的Scala版本改成2.10.4版本即可。补充
开发Spark程序的时候,我们也可以不使用$Spark_HOME中lib下的assembly包。因为这样容易出现上述的错误。
我们可以使用Maven,给出需要的Spark版本jar包的坐标,Maven便会自动为你下载需要的依赖包。