spark-streaming程序打包配置文件

最新推荐文章于 2023-08-24 11:00:44 发布

KingBoxing

最新推荐文章于 2023-08-24 11:00:44 发布

阅读量3.3k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/aaa1117a8w5s6d/article/details/43090017

版权

spark 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

在spark-streaming程序中需要配置文件中的数据来完成某项统计时，需要把配置文件打到工程里，maven的配置如下：

<build>
		<plugins>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-surefire-plugin</artifactId>
				<configuration>
					<skip>true</skip>
				</configuration>
			</plugin>
		</plugins>
		<resources>
			<resource>
				<directory>src/main/resources</directory>
				<includes>
					<include>**/*.txt</include>
					<include>*.txt</include>
				</includes>
				<filtering>true</filtering>
			</resource>
		</resources>
	</build>

这样在local模式下运行时没问题的，但是要放在yarn集群上就会出问题，需要用如下方式来调用：

spark-submit --class com.kingsoft.server.KssNodeStreaming --master yarn-cluster --driver-memory 2G --executor-memory 5G --num-executors 10 --jars /home/hadoop/spark-streaming-flume_2.10-1.0.1.jar,/home/hadoop/avro-ipc-1.7.5-cdh5.1.0.jar,/home/hadoop/flume-ng-sdk-1.5.0.1.jar,/home/hadoop/fastjson-1.1.41.jar --files /home/hadoop/idc_ip.txt,/home/hadoop/ipdata.txt /home/hadoop/SparkStreaming-0.0.1-SNAPSHOT.jar 0.0.0.0 58006
所以以后就直接用这种方式吧