spark eclipse linux,从Eclipse运行Spark应用程序

我正在尝试在Eclipse上开发一个spark应用程序,然后逐步调试它.

我下载了Spark源代码,并在Eclipse中添加了一些spark子项目(例如spark-core).现在,我正在尝试使用Eclipse开发一个spark应用程序.我已经在Eclipse上安装了ScalaIDE.我基于Spark网站提供的示例创建了一个简单的应用程序.

import org.apache.spark.SparkContext

import org.apache.spark.SparkContext._

import org.apache.spark.SparkConf

object SimpleApp {

def main(args: Array[String]) {

val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system

val conf = new SparkConf().setAppName("Simple Application")

val sc = new SparkContext(conf)

val logData = sc.textFile(logFile, 2).cache()

val numAs = logData.filter(line => line.contains("a")).count()

val numBs = logData.filter(line => line.contains("b")).count()

println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))

}

}

在我的项目中,我将spark-core项目添加为依赖项目(右键单击 – >构建路径 – >添加项目).现在,我正在尝试构建我的应用程序并运行它.但是,我的项目显示它有错误,但我没有在Eclipse中的问题视图中看到任何错误,也没有看到任何以红色突出显示的行.所以,我不确定问题是什么.我的假设是我需要在我的项目中添加外部罐子,但我不确定这些罐子会是什么.该错误是由val conf = new SparkConf().setAppName(“Simple Application”)和后续行引起的.我尝试删除这些行,错误消失了.非常感谢任何帮助和指导,谢谢！