FLINK 基于1.15.2的Java开发-自定义Redis Sink用于连接 Redis Sentinel模式

置顶 已于 2022-10-14 13:37:52 修改
阅读量1.4k 收藏 4
点赞数
分类专栏： flink 文章标签： sentinel java redis
于 2022-10-04 19:31:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lifetragedy/article/details/127164084
版权
本文详细介绍了在Flink 1.15.2中如何基于Java开发自定义Redis Sentinel连接的Sink，讨论了业务和技术需求，包括自定义Jedis连接池，以及在Sentinel模式下使用JedisConfig的实现细节。此外，文章提到了Flink连接Redis的限制，强调了自定义Sink的重要性，提供了完整的代码示例和关键配置参数说明。
摘要由CSDN通过智能技术生成

 前言

我们生产用的Redis一般都为sentinel或者为cluster模式。因此如果只是简单的在代码里用flink自带的redis sink，它根本不能用在我们的生产环境。

同时，flink自带的jedis连接源码来看：

public static RedisCommandsContainer build(FlinkJedisPoolConfig jedisPoolConfig) {
        Objects.requireNonNull(jedisPoolConfig, "Redis pool config should not be Null");
 
        GenericObjectPoolConfig genericObjectPoolConfig = new GenericObjectPoolConfig();
        genericObjectPoolConfig.setMaxIdle(jedisPoolConfig.getMaxIdle());
        genericObjectPoolConfig.setMaxTotal(jedisPoolConfig.getMaxTotal());
        genericObjectPoolConfig.setMinIdle(jedisPoolConfig.getMinIdle());
 
        JedisPool jedisPool = new JedisPool(genericObjectPoolConfig, jedisPoolConfig.getHost(),
了解本专栏 订阅专栏 解锁全文 超级会员免费看
TGITCIC
关注
专栏目录
订阅专栏
【Flink】Flink 自定义 redis sink
九师兄
02-18 1345
1.概述 内部要做 Flink SQL 平台，本文以自定义 Redis Sink 为例来说明 Flink SQL 如何自定义 Sink 以及自定义完了之后如何使用 基于 Flink 1.11 2.步骤 implements DynamicTableSinkFactory implements DynamicTableSink 创建 Redis Sink 3.自定义 sink 代码 import org.apache.flink.configuration.ConfigOption; import or.
FLINK 基于1.15.2的Java开发-连接kafka并把内容sink到redis
lifetragedy的专栏
10-02 1934
flink连接kafka并把相应的通过kafka输入的内容sink到redis
Flink笔记(二十四)：Flink 数据 保存 Redis(自定义Redis Sink)
01-07
本文主要来介绍 Flink 读取 Kafka数据，并实时下沉(Sink)数据到 Redis 的过程。        通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧数据的方式，以此来实现 exactly-once 。 1.代码部分 1.1 config.properties配置文件 bootstrap.server=192.168.204.210:9092,192.168.204.211:9092,192.168.204.212:9092 group.id=testGroup auto.offse
flink java实战
最新发布
m0_37714848的博客
09-02 1137
以上是一个简单的 Flink Java 实战教程。实际应用中，Flink 的功能和特性非常丰富，包括复杂的事件时间处理、状态管理和容错机制等。你可以参考Flink 官方文档深入了解更多高级功能和最佳实践。
Flink—RedisSink
popping_w的博客
08-27 375
Flink—RedisSink 1.开发流程 特别说明： Flink版本1.12 Reids不是跟着Flink版本的走的，相当于有第三方提供的工具类。 2.环境介绍 idea+liunx 添加Redis Connector依赖 <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-connector-redis --> <dependency> <groupId>org.apache.fli
Flink Redis Sink
qq_24095055的博客
10-28 1796
文章目录官方API自定义Redis Sink 官方API flink提供了专门操作redis的Redis Sink 依赖 <dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version>1.0</version> </dependency&
Flink学习7-自定义sink实现
qq_40342691的博客
12-09 1078
自定义sink
flink 安装包 1.15.2(flink-1.15.2-bin-scala_2.12 .tgz)
10-08
2. **下载与解压**：从 Apache 官方网站或者镜像站点下载 flink-1.15.2-bin-scala_2.12.tgz 文件。下载完成后，使用解压工具将其解压到你希望的目录，例如 `~/flink-1.15.2`。 3. **配置 Flink**：进入解压后的目录...
FLINK 基于1.15.2的Java开发-读文件并把内容 sink到redis
lifetragedy的专栏
10-02 1334
flink如何把文本文件按照固定规则切割后sink到redis的操作。
Flink如何自定义Redis的Sink
top8488.top大数据
09-16 307
背景 Flink 默认的 RedisMapper 不能设置key的过期时间。 依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.9.0</version> </dependency> SinkFunction & RichSinkFunct
Flink1.10入门：自定义Redis的Sink函数
陆继森的技术专栏
05-06 1050
微信公众号：大数据开发运维架构 关注可了解更多大数据相关的资讯。问题或建议，请公众号留言; 如果您觉得“大数据开发运维架构”对你有帮助，欢迎转发朋友圈 从微信公众号拷贝过来，格式有些错乱，建议直接去公众号阅读 一、概述 这篇文章需要完成的是将实时数据写到Redis，我这里自定义了Ridis对应的Sink函数，为了方便直接从socket端接收数据，operator处理后，直接写入r...
重写代码实现Flink连接Redis集群（Java版，解决Flink无法连接私有IP Redis集群问题）
天然玩家的博客
07-16 1857
（1）第三方Redis连接工具[bahir](https://bahir.apache.org/docs/flink/current/flink-streaming-redis)使用InetSocketAddress配置Redis集群节点IP和PORT，无法连接私有IP的Redis集群； （2）重写连接Redis集群代码，直接通过HostAndPort方式设置节点IP和PORT，保证私有的IP同样可以连接Redis集群； （3）Flink原生不支持Redis连接，执行Redis相关类型任务需要将Redis相
flink 1.10.1 java版本redis sink写入处理结果到redis
liaomingwu的专栏
02-07 649
flink 1.10.1 java版本redis sink写入处理结果到redis
flink + redis sink
weixin_33843409的博客
11-09 225
2019独角兽企业重金招聘Python工程师标准>>> ...
Flink自定义Sink
菜鸟也学大数据的博客
12-31 1116
示例:Flink写入MySQL 创建Maven项目 修改pom.xm文件 <!- 添加以下依赖，根据自己使用的版本进行修改 -> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.7.2</version> &
Flink 程序Sink（数据输出）操作（4）自定义Redis-Sink
胖虎儿的博客
04-11 6870
自定义redis sink 将flink计算数据输出到redis
flink自定义 sink
u013939918的博客
07-15 1374
准备工作 我们先来看下 Flink 从 Kafka topic 中获取数据的 demo，首先你需要安装好了 FLink 和 Kafka 。 运行启动 Flink、Zookepeer、Kafka， 好了，都启动了！ 数据库建表 1 2 3 4 5 6 7 8 DROP TABLE IF EXISTS `student`; CREATE TABLE `student` ( `id` int(11) unsigned NOT NULL AUTO_INCRE
flink结合Java_Flink的sink实战之四：自定义
weixin_32818587的博客
03-01 539
基于apache flink的流处理实时模型44元包邮(需用券)去购买 >欢迎访问我的GitHubhttps://github.com/zq2599/blog_demos内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等；本篇概览Flink官方提供的sink服务可能满足不了我们的需要，此时可以开发自定义的sink，文本就来一起实战；全系列链...
Flink / Scala 实战 - 2.使用 RedisSink 存储数据
BITDDD小栈
08-04 677
现在有一批流数据想要存储到 Redis 中，离线可以使用 Spark +foreach 搞定，由于是多流 join 且带状态，所以 SparkStreaming + foreach 也无法实现，而 Flink 不支持 foreach 操作触发 execute，这里采用 RedisSink 代替实现foreach 逻辑。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

TGITCIC

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值