0 目标
在windows单机上,运行java编写的spark程序
模式:local
先编写java程序,maven打包生成jar包,上传到spark中,运行
1 前期
已经安装好了spark
spark运行方式:
Local[N] :本地模式 使用N个线程
2 编写java工程代码
参考http://spark.apache.org/docs/latest/quick-start.html
引入spark-core_2.10pom引用
编译生成jar
3 到spark 的bin目录下
/bin/spark-submit --class "com.dttest.spark.App" --master local[4] target/app-1.0.jar
参考文章
1 http://spark.apache.org/docs/latest/quick-start.html
2 https://www.zybuluo.com/sasaki/note/252413