【Flink】2.在IDEA上完成第一个Flink项目

1.Scala版批处理Demo

1.1 创建maven项目

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
之后一直next直至出现finish点击即可.

1.2 编写第一个flink项目(BatchJob批处理)

Flink项目一般五步走:

  • 设置执行环境
  • 从数据源中获取数据
  • 通过流式转换实现应用逻辑
  • 结果输出
  • 执行程序
    在这里插入图片描述
    注意:此时需要进行如下操作
    在这里插入图片描述
    勾选上,否则会报错
    在这里插入图片描述
    运行程序,查看运行结果
    在这里插入图片描述
    只要控制台不出现报错即可

2 将项目打包为可执行的jar文件

在此处走了很多弯路,比如一开始打好的jar包提交到webui上执行不了,于是我又转提交到linux集群上,还是无法运行,后来仔细一看linux上的报错
在这里插入图片描述
意思是我打的这个jar包中缺少typeutils这个jar包,于是更新了idea的maven仓库后,加入到pom.xml文件中,重新输入mvn clean package打包
在这里插入图片描述

3 在idea终端输入mvn clean package进行打包

在这里插入图片描述
显示如上信息说明打包成功,注:若是idea,windows没有配置maven环境则会提示无法识别mvn。

4 分别在Linux和webui上提交已打包的jar文件

4.1 上传jar包到linux相应的位置

在这里插入图片描述

4.2 输入指令运行jar包 (保证flink集群已启动)

flink run --class org.example.BatchJob flinkDemo4-1.0-SNAPSHOT.jar
在这里插入图片描述
成功显示结果

4.3 打开flink的webui查看结果

在这里插入图片描述

4.4 提交后未显示报错信息,且一段时间间隔后显示如下界面

在这里插入图片描述

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值