8/26/2016
1. Idea第一个Spark程序WordCount_Clustert
在hadoop5上成功运行。(昨天在hadoopadmin上一直未成功的原因是spark-1.1.0-bin-2.2.0较spark-1.6.0-bin-hadoop2.6版本低,未含有其中的reduceByKey函数)
注:程序中的textFile("hdfs://219.226.86.155:9000/user/iespark/zzh/README.md")
而在hadoop5上运行时的命令为
Bin]$./spark-submit --class idea.dt.spark.WordCount_Cluster --master spark://hadoop5:7077 /home/iespark/zzh/WordCount_Cluster |
打包成shell文件需要改权限:chmod 755 *.sh且spark-submit需要绝对路径 |
2. 在Eclipse下用MAVEN创建spark项目
①右击创建项目MAVEN project
②项目打包类型Artifact ID(maven-archetype-quickstart)
③Group ID (工程名)com.dt.spark
Artifact ID(打包名)SparkApps
④改JRE
⑤pom.Xml的配置开发时的相关依赖和build信息
(spark官网、http://maven.outofmemory.cn/org.apache.spark/)
⑤在com.dt.spark.SparkApps创建子包