![](https://img-blog.csdnimg.cn/1532fa5654974b14a5511e614df46481.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
flink
文章平均质量分 81
比apache官网讲了还透的国内唯一一个基于flink.1.15.2-JAVA基础上并建立在上生产环境可实用场景下的专门讲解基于flink、kafka的流批一体、实时计算技术的专栏,附有大量代码例子,其中有不少内容还填补了国内相关博客的一些“遗漏”和“不足”之处。
TGITCIC
一个始终站在技术前沿的人,喜欢传播最先进的技术和理念。
展开
-
FLINK 基于1.15.2的Java开发-实时流计算商品销售热榜
以下这个例子是全网段找不到的,连书上都不写的,它是一个基于flink1.15.2实时计算热卖商品销量排行榜的例子,它接近于生产级应用。后续会扩展成“生产级应用”的代码还缺了哪些关键技术点需要打通。原创 2022-10-02 11:12:49 · 1222 阅读 · 0 评论 -
FLINK 基于1.15.2的Java开发-Sink到MYSQL的两种姿势
flink sink到mysql很简单。但实际生产应用时如果遇有大数据量要集中插入mysql我们如果还用的是一条条insert,那么势必会碰到系统网络瓶劲甚至弄垮mySQL。本篇就是以实际生产案例讲述了如何正确的做好flink往mySQL里sink数据得正确手法。原创 2022-10-28 15:01:18 · 2491 阅读 · 0 评论 -
FLINK 基于1.15.2的Java开发-自定义Source端
之前我们讲过自定义Flink的Sink端,这篇讲的是自定Flink Source端。自定义Flink Source端使用场景还不少。目前网上少有Flink>1.10版本的可运行代码,本篇也算是对Flink 1.15.2版本内API的一个知识补充。原创 2022-10-28 14:38:12 · 1227 阅读 · 0 评论 -
FLINK 基于1.15.2的Java开发-Watermark是怎么解决延迟数据唯一正确的生产级解决方案-目前市面上的例子都有问题
flink的watermark目前在网上的博客的例子、说明其实没有一个是对的。很多连watermark的使用公式都错了,而这个错一直没有得到纠正。同时写的晦涩难懂,因此本人为了弥补这一块国内的空白以及apache官网这一块知识的不全便以一个生产实际例子贯穿了整个flink中最难懂的watermark知识,以供大家真正具备高级实时计算能力的学习所用原创 2022-10-27 15:34:57 · 1233 阅读 · 0 评论 -
FLINK 基于1.15.2的Java开发-使用AggregateFunction解决以天为单位诸如PV、UV等统计的实时计算
本篇以一个实际生产需求讲透如何使用Flink 1.15.2的AggregateFunction来实现“实时统计一天内数据”、“对于天为单位来作实时累加统计”,诸如:PV、UV实时变化一类的需求。由于目前网上大多例子都是Hello Word级别或者有的代码是早于1.10版的,这些都已经被deprecate掉了。因此鉴目前市面上完全基于Flink 1.15.2版并能结合实际生产级别需求的方案几乎全无。我这个系列也算是对Flink中文方面资料的一个补足。原创 2022-10-21 10:42:24 · 1984 阅读 · 2 评论 -
FLINK 基于1.15.2的Java开发-自定义Redis Sink用于连接 Redis Sentinel模式
通过自定义flink的redis sink组件实现连接sentinel-哨兵模式以及自定义自己的redis读写业务逻辑。同时通过这一个例子,把之前的读kafka、反序列化、日志功能全部集成在一个例子中,这个例子就是一个完备的并可以适用于真实生产的实际例子。原创 2022-10-04 19:31:49 · 1459 阅读 · 0 评论 -
flume+kafka集群解决某著名联锁大型超市超过25年POS线下收单系统变实时系统的典型案例
这是一篇流批一体技术在国内某大型超市全国300家店以及全球总部的实际落地的案例。如何无痛的给一个25年+有着上千家超市的线下POS系统赋能使得其订单、促销、变价可以实时化?我们正是使用了流批一体的架构去进行的改造。在我们完成了这种无痛的改造并把原来一笔订单从生成到落回总部主数据需要t+1天变成1秒内后在业内做了分享,该方案还被其它3家超级百货集团(规模都在:超百家门店、上千个POS)所学习和取经,而这个方案至今被其它几家超级百货集团延用至今。原创 2022-10-04 00:03:53 · 931 阅读 · 0 评论 -
FLINK 基于1.15.2的Java开发-搭建2主3从的生产集群环境
flink生产级高可用集群的搭建全解析原创 2022-10-03 10:53:00 · 1180 阅读 · 0 评论 -
FLINK 基于1.15.2的Java开发-如何使用外部配置文件
在flink内如何读入配置文件的正确用法原创 2022-10-03 10:28:58 · 2025 阅读 · 1 评论 -
flink在企业IT架构中如何定位-在选型流批一体技术与大数据架构时的避坑指南
讨论流批一体不该分系统去讨论谁敢去负责和拥用这个流批一体,而是应该考虑业务系统要有流批一体架构同时大数据也必须要有流批一体架构。两者都不应该说:这是我独有的法宝。而当遇有特殊场景时又需要共用“一条流”来做流批一体。因此本文将使用TOGAF规范(企业架构设计-而非仅仅只是技术架构)去帮助CIO这类角色彻底了解流批一体到底和大数据是什么关系?也帮助我们的技术人员在本企业己有大数据组织架构时如何合理的提议引入和建立流批一体技术并且不受到抵触。你可以认为它是一个避坑宝典也可以认为它是企业级架构设计思想。原创 2022-10-02 20:45:26 · 1711 阅读 · 0 评论 -
FLINK 基于1.15.2的Java开发-从KAFKA读入JSON把它反序列化成一个JAVA Object
在flink 1.15.2中正确使用反序列化原创 2022-10-02 12:34:56 · 1898 阅读 · 0 评论 -
FLINK 基于1.15.2的Java开发-在flink内如何使用log4j
在flink内正确使用log4j2的姿势原创 2022-10-02 12:15:40 · 2024 阅读 · 0 评论 -
FLINK 基于1.15.2的Java开发-连接kafka并把内容sink到redis
flink连接kafka并把相应的通过kafka输入的内容sink到redis原创 2022-10-02 02:22:59 · 1896 阅读 · 0 评论 -
kafka搭建单机开发教程
kafka本机伪集群搭建原创 2022-10-02 02:13:34 · 1068 阅读 · 1 评论 -
FLINK 基于1.15.2的Java开发-读文件并把内容 sink到redis
flink如何把文本文件按照固定规则切割后sink到redis的操作。原创 2022-10-02 02:02:10 · 1302 阅读 · 0 评论 -
FLINK 基于1.15.2的Java开发-入门
flink java入门每一课。在这一系列中我们将使用最新的flink1.15.2版原创 2022-10-02 01:51:50 · 1677 阅读 · 0 评论