余老师带你学习大数据框架全栈第十一章Flink第二节批处理和流处理

批处理和流处理

对于Flink而言底层是Java，Flink给我们提供了Java和Scala两种语言，在开发的过程当中你可以使用java或者Scala，使用Scala语言整体的风格会更加的简洁，可读性更强，所以推荐使用Scala，接下来我们使用的也是Scala写的程序。

Pom.xml

1、引入的依赖Flink1.10.1的版本，Scala是2.12版本

2、因为要做流式处理的开发，所以引入flink-streaming-scala

3、引入Scala-maven-plugin插件，主要用来做编译，在maven项目中把Scala源文件编译成字节码文件

4、引入maven-assembly-plugin插件，可以按照需求把最后生成的项目生成jar包

代码解释及操作

1、批处理：统计以下文本中词出现的次数
确定主程序是WordCount

命令：
mvn compile -Dexec.mainClass="com.songshu.wc.WordCount"
mvn exec:java -Dexec.mainClass="com.songshu.wc.WordCount" -Dexec.classpathScope=runtime -Dmaven.test.skip=true

运行结果：

2、流处理
命令：
mvn clean scala:compile compile -Dexec.mainClass="com.kinginsai.wc.StreamWordCount"
mvn exec:java -Dexec.mainClass="com.kinginsai.wc.StreamWordCount"

3、先将端口号7777启动
命令：nc -l -p 7777
程序运行之后，在输入数据


详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰