使用IntelliJ IDEA编写SparkPi直接在Spark中运行

使用IntelliJ IDEA编写Scala在Spark中运行

环境说明：hadoop-2.2.0+spark-1.1.0
hadoop是完全分布式，spark是standalone。在master节点master1上安装了IntelliJ IDEA。

1、开启spark

进入到spark的sbin目录,./start-all.sh命令开启spark。
注意：因为演示的是SparkPi demo，无需从hdfs读取数据，所以没有启动hadoop。可以根据需要启动hadoop。

2、在IntelliJ IDEA中新建SparkTest工程

将spark提供的SparkPi.scala文件中的内容拷贝到工程中（package语句除外）如下图所示。

2.1、在工程中引入spark-assembly-1.1.0-hadoop2.2.0.jar

“File”->”Project Structure”->”Libraries”->绿色加号->”java”,在弹出页面中到spark/lib目录下找到spark-assembly-1.1.0-hadoop2.2.0.jar，”OK”。如下图所示