Flink
文章平均质量分 61
Flink
码上_成功
一个靠代码谋生的小人物
展开
-
Flink之CDC
Flink CDC实时读取Mysql数据原创 2023-06-08 22:17:41 · 237 阅读 · 0 评论 -
Flink之容错机制
有状态流应用中的检查点(checkpoint),其实就是所有任务的状态在某个时间点的一个快照(一份拷贝)。简单来讲,就是一次“存盘”,让我们之前处理数据的进度不要丢掉。在一个流应用程序运行时,Flink 会定期保存检查点,在检查点中会记录每个算子的 id 和状态;如果发生故障,Flink 就会用最近一次成功保存的检查点来恢复应用的状态,重新启动处理流程,就如同“读档”一样。原创 2023-05-28 22:07:04 · 96 阅读 · 1 评论 -
Flink之状态编程
Flink中的状态编程原创 2023-05-24 14:55:39 · 272 阅读 · 0 评论 -
Flink之多流操作
Flink 多流操作原创 2023-05-23 18:26:25 · 131 阅读 · 0 评论 -
Flink之处理函数
Flink 处理函数基本使用及topN案例原创 2023-05-18 23:15:52 · 242 阅读 · 0 评论 -
Flink之Windows
Flink Windows相关代码实现原创 2023-05-17 22:02:48 · 417 阅读 · 0 评论 -
Flink之Watermark
处理时间(Processing Time)处理时间的概念非常简单,就是指执行处理操作的机器的系统时间。事件时间(Event Time)事件时间,是指每个事件在对应的设备上发生的时间,也就是数据生成的时间。原创 2023-05-16 16:26:55 · 131 阅读 · 0 评论 -
Flink 之输出算子Sink
Flink 将数据写入外部系统原创 2023-05-16 14:27:03 · 163 阅读 · 0 评论 -
Flink之自定义Source
Flink 自定义Source原创 2023-05-15 13:15:08 · 595 阅读 · 0 评论 -
Flink之提交任务
s(–slots): 每个 TaskManager 的 slot 数量,默认一个 slot 一个 core,默认每个。taskmanager 的 slot 的个数为 1,有时可以多一些 taskmanager,做冗余。-nm:yarn 的 appName(现在 yarn 的 ui 上的名字)。进入flink Web页面:http://hostname:8081/-tm:每个 taskmanager 的内存(单位 MB)。由于并行度设置的是2,3台机器只有2台是有数据的,如下图。查看集群上运行的job。原创 2023-05-14 17:50:29 · 1434 阅读 · 0 评论 -
Flink之wordCount
Flink 实现worCount,批处理和流处理,java和scala二个版本原创 2023-05-13 20:21:00 · 67 阅读 · 0 评论