- 拉取代码 https://github.com/wencl/spark_stream_kafka.git
- mvn clean package
- 运行spark2-submit --class “org.jrj.wen.spark_stream_kafka.Application” target/spark_stream_kafka-0.0.1-SNAPSHOT.jar
由于本人已经安装好cdh环境
所以spark2-submit的一些master参数就没有指定,简单的例子,就没有指定core等参数
**注意:
- application的包和spark本身的包有冲突的时候,并且application的包没有包含spark的一些包的时候,就可以在spark-default.conf指定spark.driver.userClassPathFirst=true;这样就可以优先使用application的jar包,解决了冲突问题
- 由于是一个springboot项目,存在applicationcontext和sparkcontext2个上下文环境,所以还要加上spark.driver.allowMultipleContexts = true**
想了解spark2-submit的流程,请跳转http://www.louisvv.com/archives/1340.html;参照以上,自己取github下载spark源代码,自己可以更清楚地了解整个流程
spark中文网站:https://spark-reference-doc-cn.readthedocs.io/zh_CN/latest/deploy-guide/submitting-applications.html