Flink
文章平均质量分 91
脚气水蟑螂药
这个作者很懒,什么都没留下…
展开
-
Flink单元测试用法讲解
本文根据flink官方提供的测试方法进行编写,重点在于展示如何实现Flink任务的单元测试。测试是每个软件开发过程中不可或缺的一部分,单元测试的好处有很多,比如:确保单个方法正常运行;如果修改了方法代码,只需确保其对应的单元测试通过;测试代码本身就可以作为示例代码;可以自动化运行所有的测试并获得分析报告。除上述好处之外,其本身也是规范化流程的一部分。那咱废话不多说,进入正题测试用户自定义函数对无状态、无时间限制的UDF进行单元测试我们以两个无状态的MapFunction和FlatM原创 2022-05-10 18:39:23 · 2696 阅读 · 2 评论 -
IDEA调试Flink任务FAQ
自己写着玩的时候遇到的问题在此整理一下,要能捎带手帮各位看官解了惑那真是倍感荣幸,Flink版本1.12.0IDEA调试Flink任务时需要WebUI1.问题描述在idea进行flink任务开发时,希望可以通过web ui查看一些信息2.原因定位在本地调试的时候时通过StreamExecutionEnvironment.createLocalEnvironment()创建执行时上下文,该方法未启动 web monitoring UI,需要通过createLocalEnvironmentWithWe原创 2022-05-08 17:22:37 · 1910 阅读 · 0 评论 -
Flink任务通过RoaringBitmap实现去重
背景日常开发中,经常会有一些场景需要进行实时去重,实现方式多种多样,各有利弊,关键在于如何结合自己的业务场景选择适合自己的方式,咱今主要讨论如何通过RoaringBitmap实现实时去重。先来模拟一个简单的业务场景需求:实时计算每个账户累计消费金额,通过累计消费金额触发后续动作,务必保证结果准确条件:数据源为kafka中的binlog日志账户id和订单id均为bitint类型,金额为int类型采集端发送到kafka中的binlog保证at-least-once结果存储在kv存储中流程原创 2021-10-03 09:51:26 · 1706 阅读 · 0 评论