1.Scala版批处理Demo
1.1 创建maven项目
之后一直next直至出现finish点击即可.
1.2 编写第一个flink项目(BatchJob批处理)
Flink项目一般五步走:
- 设置执行环境
- 从数据源中获取数据
- 通过流式转换实现应用逻辑
- 结果输出
- 执行程序
注意:此时需要进行如下操作
勾选上,否则会报错
运行程序,查看运行结果
只要控制台不出现报错即可
2 将项目打包为可执行的jar文件
在此处走了很多弯路,比如一开始打好的jar包提交到webui上执行不了,于是我又转提交到linux集群上,还是无法运行,后来仔细一看linux上的报错
意思是我打的这个jar包中缺少typeutils这个jar包,于是更新了idea的maven仓库后,加入到pom.xml文件中,重新输入mvn clean package打包
3 在idea终端输入mvn clean package进行打包
显示如上信息说明打包成功,注:若是idea,windows没有配置maven环境则会提示无法识别mvn。
4 分别在Linux和webui上提交已打包的jar文件
4.1 上传jar包到linux相应的位置
4.2 输入指令运行jar包 (保证flink集群已启动)
flink run --class org.example.BatchJob flinkDemo4-1.0-SNAPSHOT.jar
成功显示结果