使用idea sbt运行spark程序

scala-sbt 项目（参考 http://blog.sina.com.cn/s/blog_5742944d0102vfwo.html）

2.待sbt及相关依赖下载完成后，配置spark依赖

spark 2.0.0后，目录下没有lib文件夹，也找不到assembly jar包，实际上该jar已经分拆成了spark安装目录下的jars文件夹下的各jar包。导入依赖如下

打开idea - file - project structure - libraries，点击“+” - java，选择jars文件夹，“确定”

3.配置application 和 scala consle

点击 Edit Configurations，在Defaults中选择application 和 scala consle，按“+”添加

4.如果有需要，配置启动参数

点击Edit Configurations，配置configuration的VM options 和 Program arguments，分别设置

1）单机模式运行 

VM options = -Dspark.master=local

Program arguments = 文件在本地机器上的绝对路径

2）standalone 集群模式运行 

VM options = -Dspark.master=spark://master:7077 (master应该替换为所需要的集群主机名)

Program arguments = 文件在本地机器上的绝对路径(或者hdfs://... 或者其他路径)

按照如上参数直接在idea启动spark任务，会出现异常

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 4.0 failed 4 times, most recent failure: Lost task 0.3 in stage 4.0 (TID 77, 192.168.1.194): java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD  （见 https://issues.apache.org/jira/browse/SPARK-9219）

因此，改用submit的方式提交

①点击 File - project structure -artifacts - jar - from modules with dependency，选择对应的module和main class。

②设置VM options = -Dspark.master=spark://master:7077

！！！注意：此模式下，sc.textFile(path)实际上是 hdfs://master:7077/path

③点击 build - build artifacts，生成jar包（位于自己在idea中指定的路径下，本文在项目/out/..目录下）

④zip -d /usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar META-INF/*.RSA META-INF/*.DSA META-INF/*.SF

（  /usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar是生成的jar路径 ）

（参考 http://blog.csdn.net/dai451954706/article/details/50086295，如果不加入这一步，会出现错误：Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes  

）

⑤以standalone模式提交（还有其它模式， 参见 http://blog.csdn.net/kinger0/article/details/46562473）

./spark-submit  --class WordCount --master spark://pmaster:7077 /usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar

（WordCount 代表要执行的任务的入口类；

spark://pmaster:7077 代表所提交的集群的master机器；

/usr/mywork/project/scala/FirstSpark/out/artifacts/firstspark_jar/firstspark.jar 代表所要提交的jar包）

非sbt scala项目（参考 《Spark实战高手之_从零开始》）

1）新建非sbt scala项目，为 Scala sdk选择scala的本机安装目录

2）在Project Structure - Libraries中导入spark的jar包（spark安装目录下的jars文件夹）

3）代码完成后，在Project Structure -Artifacts中，添加 jar - from modules with dependency，选择对应的module和main class。把生成的artifacts的name由 xxx:jar 改成xxxJar，把outputlayout中scala和spark相关的依赖都移除（因为每台机器都安装有scala和spark，所以不需要输出scala和spark相关的依赖包）

4）点击 Build -Build Artifacts，生成jar包（第一次是build，后面可以使用rebuild生成jar）

5）提交任务到集群（standalone模式）

spark-submit --master spark://pmaster:7077 --class testy.MyEntry /usr/mywork/project/scala/NonSBTProject/out/artifacts/NonSBTProjectJar/NonSBTProject.jar hdfs://pmaster:9000/movie/ml-100k/u.user hdfs://pmaster:9000/movie/result

注：①pmaster是集群master机器的hostname；

       ②testy.MyEntry 是所要运行的程序的scala文件全名，包括包名；

       ③hdfs://pmaster:9000/movie/ml-100k/u.user是输入文件的路径；hdfs://pmaster:9000/movie/result是输出文件的路径（这个路径在程序执行的时候必须是空的）

参考书中说在 Project Structure - Modules - Sources中，在src目录下新建文件夹并关联为Sources。实际上不需要这么做，也不能这么做，关联之后会导致错误：入口类（对象）名 is already defined...