![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
文章平均质量分 83
动力暖暖
多的是你想不到的事
展开
-
Log4j2自定义Appender将日志写入到ElasticSearch
海豚调度DolpinScheduler做任务调度。流程是 提交一个shell 到海豚,shell里使用spark-submit 提交 java 程序,然后使用海豚的api 去获取日志,log4j2自定义appender原创 2022-08-04 16:12:00 · 2082 阅读 · 0 评论 -
springboot2.x,3.x打jar包在spark yarn 集群上部署运行
执行脚本/home/software/spark-3.1.2/bin/spark-submit --class cnki.bdms.servicespark.BdcServiceSparkApplication \ --conf spark.yarn.jars="hdfs://0.0.0.0:8020/spark/apps/jars/*,hdfs://0.0.0.0:8020/lib/*" \ --driver-java-options "-Dorg.springframework.boot.lo原创 2022-02-22 10:51:38 · 2499 阅读 · 0 评论