![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据:Flink
文章平均质量分 93
Flink
秃了也弱了。
即使没有万全准备,也要勇敢迈出第一步。无论远方的风雨有多大、路有多难走。风里雨里陪伴你们,赠人玫瑰,手有余香。在技术领域,我会一如既往的坚持下去。
展开
-
使用FlinkCDC从mysql同步数据到ES,并实现数据检索
随着公司的业务量越来越大,查询需求越来越复杂,mysql已经不支持变化多样的复杂查询了。于是,使用cdc捕获MySQL的数据变化,同步到ES中,进行数据的检索。原创 2024-03-22 08:45:46 · 2123 阅读 · 0 评论 -
Flink时间语义&WindowAPI&Watermark详解:时间与乱序对实时处理的影响
event time:事件/数据真正产生的时间,这个时间一旦产生了,肯定就不变了。(进Flink之前就已经存在了)process time:事件/数据处理的世界,这个时间是不确定的,跟处理服务器的时间相关。(比如说每小时处理一次,这一小时内的数据都会在整点处理)(优点:性能好,低延迟;缺点:结果是不确定的)(比如说,10::59:20产生的数据,正常是在10-11点的窗口内,但是由于网络抖动、服务器等原因在11点之后执行)所以,如果不关注准确度的话,就可以使用process time处理,因为性原创 2024-03-04 16:14:51 · 1056 阅读 · 0 评论 -
Flink从入门到实践(三):数据实时采集 - Flink MySQL CDC
注意MySQL的版本,本次是使用MySQL8.0进行演示。同时,Flink支持很多数据库的cdc。同时也要对应好版本,我们本次使用Flink是1.18,同时FlinkCDC也是3.0版本System . out . println("数据库:" + split [ 1 ]);System . out . println("表:" + split [ 2 ]);原创 2024-02-08 10:23:23 · 2935 阅读 · 0 评论 -
Flink从入门到实践(二):Flink DataStream API
/ num>@Override@Override// 最终执行的方法,输出到终端});原创 2024-02-08 10:22:48 · 1878 阅读 · 0 评论 -
Flink从入门到实践(一):Flink入门、Flink部署
离线:结果是一次性出来的。实时:来一个数据处理一次,数据是带状态的。原创 2024-02-08 10:21:01 · 2377 阅读 · 0 评论