第三十四篇：Flink 和 Redis/MySQL/HBase整合实现 Flink Sink

最新推荐文章于 2024-07-27 20:16:59 发布

王知无(import_bigdata)

最新推荐文章于 2024-07-27 20:16:59 发布

阅读量863

点赞数

分类专栏： Flink高级进阶和企业级应用

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/119059939

版权

Flink高级进阶和企业级应用专栏收录该内容

43 篇文章 130 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本教程介绍了如何将Flink计算结果（如PV和UV）写入Redis、MySQL和HBase。详细讲解了Flink与Redis、MySQL、HBase的整合过程，包括Flink Redis Sink的实现，Flink JDBC Connector用于MySQL的写入，以及自定义Flink HBase Sink的方法。同时，讨论了批量提交和幂等性在确保数据一致性的关键作用。

摘要由CSDN通过智能技术生成

你好，欢迎来到第 34 课时，本课时我们主要讲解“Flink 和 Redis/MySQL/HBase 整合实现 Flink Sink”。

上一课时我们使用了 3 种方法进行了 PV 和 UV 的计算，分别是全窗口内存统计、使用分组和过期数据剔除、使用 BitMap / 布隆过滤器。到此为止我们已经讲了从数据清洗到水印、窗口设计，PV 和 UV 的计算，接下来需要把结果写入不同的目标库供前端查询使用。

下面我们分别讲解 Flink 和 Redis/MySQL/HBase 是如何整合实现 Flink Sink 的。

Flink Redis Sink

我们在第 27 课时，详细讲解过 Flink 使用 Redis 作为 Sink 的设计和实现，分别使用自定义 Redis Sink、开源的 Redis Connector 实现了写入 Redis。

在这里我们直接使用开源的 Redis 实现，首先新增 Maven 依赖如下：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-redis_2.11</artifactId>
    <version>1.1.5</version>
</dependency>

可以通过实现 RedisM