运行flink官网DataStream API例子报错ClassNotFoundException

今天在运行 flink官网DataStream API例子（一个针对可疑信用卡交易行为的反欺诈检测系统的demo ：https://ci.apache.org/projects/flink/flink-docs-release-1.10/getting-started/walkthroughs/datastream_api.html）报错：

java.lang.ClassNotFoundException: org.apache.flink.streaming.api.functions.source.SourceFunction

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/functions/source/SourceFunction
	at spendreport.FraudDetectionJob.main(FraudDetectionJob.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.flink.streaming.api.functions.source.SourceFunction
	at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 1 more

解决办法是将pom中将scope=provided的依赖改为compile即可。也可以利用maven的profiles标签，针对不同的开发环境，配置不同的环境。

在原来的pom.xml文件中添加如下内容：

 

<!-- 关键配置 -->
	<!-- 1. scope = provided 包需复制一份添加到下面的 dependencies,用于本地环境运行,scope 修改为 compile -->
	<!-- 2. IntelliJ IDEA maven 右上角profiles 勾选上 dev 线上打包请勿勾选-->
	<profiles>
		<!--用于生产环境打包-->
		<profile>
			<id>prod</id>
			<activation>
				<activeByDefault>true</activeByDefault>
			</activation>
			<properties>
				<profileActive>prod</profileActive>
			</properties>
		</profile>
		<!--用于测试环境打包-->
		<profile>
			<id>test</id>
			<properties>
				<profileActive>test</profileActive>
			</properties>
		</profile>
		<!--用于本地运行环境-->
		<profile>
			<id>dev</id>
			<activation>
				<property>
					<name>idea.version</name>
				</property>
			</activation>
			<properties>
			<!-- dev 使用 test resources 目录，只是多了依赖 -->
			<profileActive>test</profileActive>
		</properties>

			<dependencies>
				<!--注释掉<scope>provided</scope>
				或者修改为compile ，否则程序会报ClassNotFoundException：
				org.apache.flink.streaming.api.functions.source.SourceFunction错误-->
				<dependency>
					<groupId>org.apache.flink</groupId>
					<artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
					<version>${flink.version}</version>
					<scope>compile</scope>
					<!--<scope>provided</scope>-->
				</dependency>

			</dependencies>
		</profile>
	</profiles>

下面解释下<scope>provided</scope> 和<scope>compile</scope>的区别，

对于<scope>compile</scope>是默认的scope,设置为scope=compile的依赖jar，项目在编译，测试，运行阶段都需要这个artifact对应的jar包在classpath中。

对于配置了<scope>provided</scope>的依赖，只影响到编译，测试阶段。在运行阶段如果程序运行的目标容器中没有这个jar包，运行就会报错，找不到这个类，而编译是会通过的。而在实际生产环境中，某些jar包，比如这里的flink-streaming-scala_${scala.binary.version} ，生产环境中肯定存在了，所以设置为<scope>provided</scope>，不需要将该依赖项，打包到jar文件中。而本地运行环境没有这个jar包，所以需要设置为<scope>compile</scope>。