lifetragedy的专栏

以下这个例子是全网段找不到的，连书上都不写的，它是一个基于flink1.15.2实时计算热卖商品销量排行榜的例子，它接近于生产级应用。后续会扩展成“生产级应用”的代码还缺了哪些关键技术点需要打通。

flink sink到mysql很简单。但实际生产应用时如果遇有大数据量要集中插入mysql我们如果还用的是一条条insert，那么势必会碰到系统网络瓶劲甚至弄垮mySQL。本篇就是以实际生产案例讲述了如何正确的做好flink往mySQL里sink数据得正确手法。

之前我们讲过自定义Flink的Sink端，这篇讲的是自定Flink Source端。自定义Flink Source端使用场景还不少。目前网上少有Flink>1.10版本的可运行代码，本篇也算是对Flink 1.15.2版本内API的一个知识补充。

flink的watermark目前在网上的博客的例子、说明其实没有一个是对的。很多连watermark的使用公式都错了，而这个错一直没有得到纠正。同时写的晦涩难懂，因此本人为了弥补这一块国内的空白以及apache官网这一块知识的不全便以一个生产实际例子贯穿了整个flink中最难懂的watermark知识，以供大家真正具备高级实时计算能力的学习所用

本篇以一个实际生产需求讲透如何使用Flink 1.15.2的AggregateFunction来实现“实时统计一天内数据”、“对于天为单位来作实时累加统计”，诸如：PV、UV实时变化一类的需求。由于目前网上大多例子都是Hello Word级别或者有的代码是早于1.10版的，这些都已经被deprecate掉了。因此鉴目前市面上完全基于Flink 1.15.2版并能结合实际生产级别需求的方案几乎全无。我这个系列也算是对Flink中文方面资料的一个补足。

通过自定义flink的redis sink组件实现连接sentinel-哨兵模式以及自定义自己的redis读写业务逻辑。同时通过这一个例子，把之前的读kafka、反序列化、日志功能全部集成在一个例子中，这个例子就是一个完备的并可以适用于真实生产的实际例子。

这是一篇流批一体技术在国内某大型超市全国300家店以及全球总部的实际落地的案例。如何无痛的给一个25年+有着上千家超市的线下POS系统赋能使得其订单、促销、变价可以实时化？我们正是使用了流批一体的架构去进行的改造。在我们完成了这种无痛的改造并把原来一笔订单从生成到落回总部主数据需要t+1天变成1秒内后在业内做了分享，该方案还被其它3家超级百货集团（规模都在：超百家门店、上千个POS）所学习和取经，而这个方案至今被其它几家超级百货集团延用至今。

flink生产级高可用集群的搭建全解析

在flink内如何读入配置文件的正确用法

讨论流批一体不该分系统去讨论谁敢去负责和拥用这个流批一体，而是应该考虑业务系统要有流批一体架构同时大数据也必须要有流批一体架构。两者都不应该说：这是我独有的法宝。而当遇有特殊场景时又需要共用“一条流”来做流批一体。因此本文将使用TOGAF规范（企业架构设计-而非仅仅只是技术架构）去帮助CIO这类角色彻底了解流批一体到底和大数据是什么关系？也帮助我们的技术人员在本企业己有大数据组织架构时如何合理的提议引入和建立流批一体技术并且不受到抵触。你可以认为它是一个避坑宝典也可以认为它是企业级架构设计思想。

在flink 1.15.2中正确使用反序列化

在flink内正确使用log4j2的姿势

flink连接kafka并把相应的通过kafka输入的内容sink到redis

kafka本机伪集群搭建

flink如何把文本文件按照固定规则切割后sink到redis的操作。

flink java入门每一课。在这一系列中我们将使用最新的flink1.15.2版