flink-sink-reids报broken pipe错误的解决方案

根据flink官网连接reids的介绍中(链接地址https://bahir.apache.org/docs/flink/current/flink-streaming-redis/

很多配置没有给开发人员开放,导致会报Broken pipe的错误

jedisConnectionException:Broken pipe

 

网上一番搜索后,是因为使用完redis的命令后,并没有将链接归还给连接池,导致该错误的发生

 

因此修改源码类RedisCommandsContainerBuilder添加:

genericObjectPoolConfig.setMaxWaitMillis(6000);
genericObjectPoolConfig.setTestOnBorrow(true);
genericObjectPoolConfig.setTestOnCreate(true);
genericObjectPoolConfig.setTestOnReturn(true);
genericObjectPoolConfig.setTestWhileIdle(true);

测试后不再报该错误

 

相关链接:

添加对setex的支持

https://www.jianshu.com/p/2c02b7c5970a

commons-pool的参数:

https://www.cnblogs.com/zhengzuozhanglina/p/9685314.html

 

 

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
flink-statebackend-redisFlink 提供的一个 StateBackend 插件,用于将 Flink 程序中的状态数据存储到 Redis 中。如果您想在 Flink 程序中使用 RedisStateBackend,需要在项目中引入 flink-statebackend-redis 依赖。 具体来说,在 Maven 项目中,您可以在 pom.xml 文件中添加以下依赖: ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-statebackend-redis</artifactId> <version>${flink.version}</version> </dependency> ``` 在 Gradle 项目中,您可以在 build.gradle 文件中添加以下依赖: ``` dependencies { implementation "org.apache.flink:flink-statebackend-redis:${flinkVersion}" } ``` 这里的 ${flink.version} 或 ${flinkVersion} 是指您使用的 Flink 版本号。如果您使用的是 Flink 1.12 及以上版本,可以直接使用 flink-statebackend-redis 依赖。如果您使用的是 Flink 1.11 及以下版本,需要先引入 flink-statebackend-rocksdb 依赖: ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-statebackend-rocksdb</artifactId> <version>${flink.version}</version> </dependency> ``` 或者 ``` dependencies { implementation "org.apache.flink:flink-statebackend-rocksdb:${flinkVersion}" } ``` 然后再引入 flink-statebackend-redis 依赖: ``` <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-statebackend-redis</artifactId> <version>${flink.version}</version> </dependency> ``` 或者 ``` dependencies { implementation "org.apache.flink:flink-statebackend-redis:${flinkVersion}" } ```
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值