![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 65
奋斗的IT小白菜
这个作者很懒,什么都没留下…
展开
-
Flink 消费kafka 自定义KafkaDeserializationSchema
kafka中的数据通常是键值对,所以我们自定义反序列化从kafka中消费键值对的消息实现需求: 读取多个topic数据进行不同处理输出,这里就需要自定义反序列化从kafka消费数据,然后分别处理。效果数据格式转换后效果:代码自定义反序列化类class LogDeserializationSchema extends KafkaDeserializationSchema[TopicBean] { // 是否最后一条数据,流是无界的 override def isEndO.原创 2022-02-07 23:27:53 · 2284 阅读 · 3 评论 -
Flink任务监控(基于API接口编写shell脚本)
Flink部署模式主要分为Flink StandAlone 模式,flink-on-yarn 模式。Flink StandAlone 模式 主要是通过调用原创 2021-04-29 15:54:17 · 4377 阅读 · 2 评论 -
提交Flink Job任务:实现WordCount
上传Flink Job任务:实现WordCount一 实现Job任务的Jar包1.1 修改pom.xml文件:添加依赖1.2 创建scala Object实例FlinkStream二 上传Job任务运行2.1 在Linux上启动Flink服务2.2 上传jar提交任务2.3 发送数据并查看效果一 实现Job任务的Jar包1.1 修改pom.xml文件:添加依赖pom.xml<!- 根据自己使用的scala与flink的版本修改版本号 -> <dependency>原创 2021-01-18 23:09:51 · 806 阅读 · 0 评论