spark提交jar包流程,spark-stream

  1. 拉取代码 https://github.com/wencl/spark_stream_kafka.git
  2. mvn clean package
  3. 运行spark2-submit --class “org.jrj.wen.spark_stream_kafka.Application” target/spark_stream_kafka-0.0.1-SNAPSHOT.jar

由于本人已经安装好cdh环境
集群环境
所以spark2-submit的一些master参数就没有指定,简单的例子,就没有指定core等参数

**注意:

  1. application的包和spark本身的包有冲突的时候,并且application的包没有包含spark的一些包的时候,就可以在spark-default.conf指定spark.driver.userClassPathFirst=true;这样就可以优先使用application的jar包,解决了冲突问题
  2. 由于是一个springboot项目,存在applicationcontext和sparkcontext2个上下文环境,所以还要加上spark.driver.allowMultipleContexts = true**

想了解spark2-submit的流程,请跳转http://www.louisvv.com/archives/1340.html;参照以上,自己取github下载spark源代码,自己可以更清楚地了解整个流程

spark中文网站:https://spark-reference-doc-cn.readthedocs.io/zh_CN/latest/deploy-guide/submitting-applications.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值