我正在尝试在Eclipse上开发一个spark应用程序,然后逐步调试它.
我下载了Spark源代码,并在Eclipse中添加了一些spark子项目(例如spark-core).现在,我正在尝试使用Eclipse开发一个spark应用程序.我已经在Eclipse上安装了ScalaIDE.我基于Spark网站提供的示例创建了一个简单的应用程序.
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
object SimpleApp {
def main(args: Array[String]) {
val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache()
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
}
}
在我的项目中,我将spark-core项目添加为依赖项目(右键单击 – >构建路径 – >添加项目).现在,我正在尝试构建我的应用程序并运行它.但是,我的项目显示它有错误,但我没有在Eclipse中的问题视图中看到任何错误,也没有看到任何以红色突出显示的行.所以,我不确定问题是什么.我的假设是我需要在我的项目中添加外部罐子,但我不确定这些罐子会是什么.该错误是由val conf = new SparkConf().setAppName(“Simple Application”)和后续行引起的.我尝试删除这些行,错误消失了.非常感谢任何帮助和指导,谢谢!