在win系统下的Idea编译spark自带的JavaWordCount代码,到apache的官网下载对应的spark包spark-1.5.0-bin-hadoop2.6.tgz,从
spark-1.5.0-bin-hadoop2.6\examples\src\main\java\org\apache\spark\examples找到JavaWordCount源码在Idea上进行编译,编译的时候要导入spark-1.5.0-bin-hadoop2.6\lib下的jar包。当代码没有错误后在将其打成jar包。然后发送的集群上。
用submit命令进行提交。
命令参数如下:
一些常用选项:
--class: #你的应用的启动类 (如 org.apache.spark.examples.SparkPi)
--master: #集群的master URL (如 spark://23.195.26.187:7077)
--deploy-mode: #是否发布你的驱动到worker节点(cluster) 或者作为一个本地客户端 (client) (默认就是 client模式)
--conf: # 任意的Spark配置属性, 格式key=value. 如果值包含空格,可以加引号“key=value”.
--application-jar: # 打包好的应用jar,包含依赖
--application-arguments: # 传给main()方法的参数
具体的提交命令如下:
运行在本地:
spark-submit --master local --class org.apache.spark.examples.JavaWordCount --executor-memory 1G --total-executor-cores 2 ~/JavaWordCount.jar hdfs://Master:9000/user/hadoop/input/text
结果能够在