【踩坑】Flink无法使用Jedis连接redis服务器

最新推荐文章于 2024-01-31 22:55:29 发布
最新推荐文章于 2024-01-31 22:55:29 发布
阅读量1.8k 收藏 1
点赞数 1
分类专栏： Jedis Redis 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mmlik8878/article/details/106944640
版权

现象:在本地环境Flink流处理的task 用main函数可以运行 但是打包成jar包部署到Flink上就运行失败

 

过程：

项目使用Flink-scala写的 scala没有相关连接redis的包 但是Jedis只支持Java版本 所以写了个JedisUtil类 用scala调用方法来创建jedis session 工具类中都使用静态方法与变量编写

部署上去发现不行

后来将JedisUtil改成非静态的成员变量和方法后再部署就可以运行了

 

原因: scala似乎不支持java类的静态方法与静态成员变量的调用 所以需要将Java的Util类 均采用非static的写法 创建一个新的Util对象

mmlik8878
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
重写代码实现Flink连接Redis集群（Java版，解决Flink无法连接私有IP Redis集群问题）
天然玩家的博客
07-16 1813
（1）第三方Redis连接工具[bahir](https://bahir.apache.org/docs/flink/current/flink-streaming-redis)使用InetSocketAddress配置Redis集群节点IP和PORT，无法连接私有IP的Redis集群； （2）重写连接Redis集群代码，直接通过HostAndPort方式设置节点IP和PORT，保证私有的IP同样可以连接Redis集群； （3）Flink原生不支持Redis连接，执行Redis相关类型任务需要将Redis相
flink连接redis报错
liangsir
10-12 649
原因是连接占用了，再clone一个窗口，启动redis客户端
flink连接redis工具类-简单好用
weixin_45399602的博客
05-07 3043
简单易容的flink redis 工具
Flink-Connectors(连接器)（2）Redis
胖虎儿的博客
04-12 6774
flink 提供了专门操作redis 的RedisSink，使用起来更方便，而且不用我们考虑性能的问题，接下来将主要介绍RedisSink 如何使用
《高级》Flink异步io链接Redis--Java和Scala版
huzechen的博客
08-21 3077
最近发现好多小伙伴不知道如何异步链接redis 我准备了两个版本 java版本和scala版本 直接上代码，大部分同学看了应该会懂 刚开始学习flink的同学中间细节的东西，不明白的可以微信联系我，可以进入我的flink微信交流群。 喜欢flink的朋友，支持一下原创，可以关注我的公众号： 先看java版本 import com.alibaba.fastjson....
Flink 系例 之 Connectors 连接 Redis
不会飞的小龙人的博客
01-31 1539
通过使用 Flink DataStream Connectors 数据流连接器连接到 Redis 缓存数据库，并提供数据流输入与输出操作；
flink-connector-redis-2.10-1.1.5-API文档-中文版.zip
07-14
赠送jar包：flink-connector-redis_2.10-1.1.5.jar； 赠送原API文档：flink-connector-redis_2.10-1.1.5-javadoc.jar； 赠送源代码：flink-connector-redis_2.10-1.1.5-sources.jar； 赠送Maven依赖信息文件：flink-...
flink-connector-redis_2.11-1.1.5.jar
08-09
flink连接redis设置过期时间和密码
Flink笔记(二十四)：Flink 数据 保存 Redis(自定义Redis Sink)
01-07
本文主要来介绍 Flink 读取 Kafka数据，并实时下沉(Sink)数据到 Redis 的过程。  通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧...
flink-connector-redis_2.11-1.0.jar
03-11
flink连接redis自定义连接器 eg: "CREATE TABLE redis_dim (\n" + "key String,\n" + "res String\n" + ") WITH (\n" + " 'connector.type' = 'redis', \n" + " 'redis.ip' = '10.100.1.15', \n" + " '...
flink-connector-redis_2.11-1.1-SNAPSHOT
10-14
flink连接redis作为sink，1.0无法支持过期的时间，所以就有了这个jar包，支持过期的时间，避免你自己的重新编译，节省时间
flink-connector-redis_2.10-1.1.5-API文档-中英对照版.zip
07-14
赠送jar包：flink-connector-redis_2.10-1.1.5.jar； 赠送原API文档：flink-connector-redis_2.10-1.1.5-javadoc.jar； 赠送源代码：flink-connector-redis_2.10-1.1.5-sources.jar； 赠送Maven依赖信息文件：flink-...
Flink与Redis集成：自定义连接器实现维表创建与数据汇入
最新发布
击水三千里的专栏
01-31 565
本文详细介绍了如何在Apache Flink中通过自定义连接器与Redis进行数据交互，包括创建Redis维表和实现数据汇入。文章展示了如何利用现有的Redis连接器和Flink的动态表特性，通过自定义的Source和Sink，实现流式数据与Redis维表的实时Join操作，以及如何将数据批量写入Redis。此外，还探讨了如何通过缓存优化和复用现有格式来提高性能。
Flink维表关联之Redis(java实现)
znmdwzy的博客
08-06 2570
需求背景： 需要流数据与Redis数据进行关联查询。通常情况下Flink可以通过RichMapFunction来创建外部数据系统的client连接，来进行数据的写入和数据的读取。但这种同步查询和操作数据库的方式会因网络等问题影响数据处理的效率，如果想提升效率就要考虑增加算子的并行度，这会增多额外的资源开销。写这个也是网上java实现的资料太少了！ 解决思路： Flink在1.2版本中引入了Asynchronous I/O，能够支持异步的方式连接外部的存储系统，从而提升Flink系统与外部数据库交互的性能与吞
Flink无法序列化问题 *** is not serializable.
weixin_48481972的博客
03-11 2705
解决Flink无法序列化的一种思路
flink入门3-Flink连接Kafka、Redis，实现Kafka Source/Redis Sink
summon的博客
06-07 2355
本篇文章将会一步步实现如何使用Flink对接Kafka和Redis，并将Kafka中的数据存储到Redis中，这种场景也是真实项目会遇到的。下载链接：http://archive.apache.org/dist/kafka/此处我下载的版本是kafka_2.12-3.2.0，这个版本需要将参数替代原先的参数，否则执行命令会报错： 1.2 启动内置Zookeeper 1.3 启动Kafka 1.4 常用Kafka指令 创建topic 删除topic 查看所有的topic 向topic中
Flink（63）：Flink中通用RedisUtil工具类
yang_shibiao的博客
01-03 1944
在使用SpringBoot后端开发中，我们如果需要对Redis进行增删查改，可以很方便的使用RedisTemplate或者StringRedisTemplate等对象进行操作。但是在大数据中，如果想要对Redis进行操作，就没有那么方便，特别当flink新一代流式计算框架兴起后，没有直接读取和写入Redis的连接源，不管是开始的时候从Redis中获取数据，还是在中间需要读取维度数据，或者最后将数据写入到Redis，都不方便。此时一个较为方便的工具类就能很方便的使用，能达到节省开发时间、减小开发难度等目的。
Redis与ApacheFlinkStreaming集成
禅与计算机程序设计艺术
01-21 1002
1.背景介绍 1. 背景介绍 Redis 是一个开源的高性能键值存储系统，用于存储数据并提供快速访问。它支持数据结构如字符串、哈希、列表、集合和有序集合。Redis 通常用于缓存、会话存储、计数器、实时消息传递等应用场景。 Apache Flink 是一个流处理框架，用于处理大规模数据流。它支持实时计算、事件时间处理和窗口操作。Flink 可以处理各种数据源和数据接收器，如 Kafka、HD...
Flink流处理-Redis Connector
孙大圣的博客
12-19 4453
环境 flink-1.9.0 redis-5.0.4单机模式 一、需要的依赖 <!--flink流处理依赖--> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-streaming-java_2.11</artifactId>...
如何在flink中设置redis中的数据过期时间
05-24
在 Flink 中设置 Redis 中的数据过期时间可以通过以下步骤： 1. 在 Flink 中引入 Redis 相关的依赖，例如 jedis 和 flink-connector-redis。 2. 在 Flink 中创建一个 RedisSinkFunction，该函数负责将数据写入 Redis 中。 3. 在 RedisSinkFunction 中使用 jedis 调用 Redis 的 API 设置数据的过期时间。 下面是一个示例代码，演示了如何在 Flink 中使用 RedisSinkFunction 设置 Redis 中的数据过期时间： ```java import org.apache.flink.streaming.api.functions.sink.RichSinkFunction; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig; public class RedisSink extends RichSinkFunction<String> { private JedisPool jedisPool; // 初始化 Redis 连接池 @Override public void open(Configuration parameters) throws Exception { super.open(parameters); JedisPoolConfig poolConfig = new JedisPoolConfig(); poolConfig.setMaxTotal(10); poolConfig.setMaxIdle(5); poolConfig.setTestOnBorrow(true); jedisPool = new JedisPool(poolConfig, "localhost", 6379); } // 将数据写入 Redis 中，并设置过期时间 @Override public void invoke(String value, Context context) throws Exception { Jedis jedis = jedisPool.getResource(); jedis.set("key", value); jedis.expire("key", 60); // 设置过期时间为 60 秒 jedis.close(); } // 关闭 Redis 连接池 @Override public void close() throws Exception { super.close(); jedisPool.destroy(); } } ``` 在 Flink 的主函数中，可以将该 RedisSinkFunction 作为 SinkFunction 使用，例如： ```java DataStream<String> stream = ... // 从数据源获取数据流 stream.addSink(new RedisSink()); ``` 这样，在每次调用 RedisSinkFunction 的 invoke() 方法时，都会将数据写入 Redis 中，并设置过期时间。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值