Eclipse下用MAVEN创建spark项目

8/26/2016

1.    Idea第一个Spark程序WordCount_Clustert

在hadoop5上成功运行。（昨天在hadoopadmin上一直未成功的原因是spark-1.1.0-bin-2.2.0较spark-1.6.0-bin-hadoop2.6版本低，未含有其中的reduceByKey函数）

注：程序中的textFile("hdfs://219.226.86.155:9000/user/iespark/zzh/README.md")

而在hadoop5上运行时的命令为

Bin]$./spark-submit --class idea.dt.spark.WordCount_Cluster --master spark://hadoop5:7077 /home/iespark/zzh/WordCount_Cluster

打包成shell文件需要改权限：chmod 755 *.sh且spark-submit需要绝对路径

2.    在Eclipse下用MAVEN创建spark项目

①右击创建项目MAVEN project

②项目打包类型Artifact ID（maven-archetype-quickstart）

③Group ID （工程名）com.dt.spark

   Artifact ID（打包名）SparkApps

④改JRE

⑤pom.Xml的配置开发时的相关依赖和build信息

（spark官网、http://maven.outofmemory.cn/org.apache.spark/）

⑤在com.dt.spark.SparkApps创建子包