【踩坑】Flink无法使用Jedis连接redis服务器

最新推荐文章于 2023-03-11 18:57:08 发布
最新推荐文章于 2023-03-11 18:57:08 发布
阅读量1.8k 收藏 1
点赞数 1
分类专栏： Jedis Redis 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mmlik8878/article/details/106944640
版权

现象:在本地环境Flink流处理的task 用main函数可以运行 但是打包成jar包部署到Flink上就运行失败

 

过程：

项目使用Flink-scala写的 scala没有相关连接redis的包 但是Jedis只支持Java版本 所以写了个JedisUtil类 用scala调用方法来创建jedis session 工具类中都使用静态方法与变量编写

部署上去发现不行

后来将JedisUtil改成非静态的成员变量和方法后再部署就可以运行了

 

原因: scala似乎不支持java类的静态方法与静态成员变量的调用 所以需要将Java的Util类 均采用非static的写法 创建一个新的Util对象

mmlik8878
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
重写代码实现Flink连接Redis集群（Java版，解决Flink无法连接私有IP Redis集群问题）
天然玩家的博客
07-16 1810
（1）第三方Redis连接工具[bahir](https://bahir.apache.org/docs/flink/current/flink-streaming-redis)使用InetSocketAddress配置Redis集群节点IP和PORT，无法连接私有IP的Redis集群； （2）重写连接Redis集群代码，直接通过HostAndPort方式设置节点IP和PORT，保证私有的IP同样可以连接Redis集群； （3）Flink原生不支持Redis连接，执行Redis相关类型任务需要将Redis相
flink-connector-redis_2.11-1.1.5.jar
08-09
flink连接redis设置过期时间和密码
Flink无法序列化问题 *** is not serializable.
weixin_48481972的博客
03-11 2670
解决Flink无法序列化的一种思路
flink连接redis报错
liangsir
10-12 646
原因是连接占用了，再clone一个窗口，启动redis客户端
Flink（63）：Flink中通用RedisUtil工具类
yang_shibiao的博客
01-03 1932
在使用SpringBoot后端开发中，我们如果需要对Redis进行增删查改，可以很方便的使用RedisTemplate或者StringRedisTemplate等对象进行操作。但是在大数据中，如果想要对Redis进行操作，就没有那么方便，特别当flink新一代流式计算框架兴起后，没有直接读取和写入Redis的连接源，不管是开始的时候从Redis中获取数据，还是在中间需要读取维度数据，或者最后将数据写入到Redis，都不方便。此时一个较为方便的工具类就能很方便的使用，能达到节省开发时间、减小开发难度等目的。
flink入门3-Flink连接Kafka、Redis，实现Kafka Source/Redis Sink
summon的博客
06-07 2344
本篇文章将会一步步实现如何使用Flink对接Kafka和Redis，并将Kafka中的数据存储到Redis中，这种场景也是真实项目会遇到的。下载链接：http://archive.apache.org/dist/kafka/此处我下载的版本是kafka_2.12-3.2.0，这个版本需要将参数替代原先的参数，否则执行命令会报错： 1.2 启动内置Zookeeper 1.3 启动Kafka 1.4 常用Kafka指令 创建topic 删除topic 查看所有的topic 向topic中
flink连接redis工具类-简单好用
weixin_45399602的博客
05-07 3042
简单易容的flink redis 工具
flink-connector-redis-2.10-1.1.5-API文档-中文版.zip
07-14
赠送jar包：flink-connector-redis_2.10-1.1.5.jar； 赠送原API文档：flink-connector-redis_2.10-1.1.5-javadoc.jar； 赠送源代码：flink-connector-redis_2.10-1.1.5-sources.jar； 赠送Maven依赖信息文件：flink-...
Flink笔记(二十四)：Flink 数据 保存 Redis(自定义Redis Sink)
01-07
本文主要来介绍 Flink 读取 Kafka数据，并实时下沉(Sink)数据到 Redis 的过程。  通过如下链接：Flink官方文档，我们知道数据保存到 Redis 的容错机制是 at least once。所以我们通过幂等操作，使用新数据覆盖旧...
flink-connector-redis_2.11-1.0.jar
03-11
flink连接redis自定义连接器 eg: "CREATE TABLE redis_dim (\n" + "key String,\n" + "res String\n" + ") WITH (\n" + " 'connector.type' = 'redis', \n" + " 'redis.ip' = '10.100.1.15', \n" + " '...
flink-connector-redis_2.10-1.1.5-API文档-中英对照版.zip
07-14
赠送jar包：flink-connector-redis_2.10-1.1.5.jar； 赠送原API文档：flink-connector-redis_2.10-1.1.5-javadoc.jar； 赠送源代码：flink-connector-redis_2.10-1.1.5-sources.jar； 赠送Maven依赖信息文件：flink-...
Flink-Connectors(连接器)（2）Redis
胖虎儿的博客
04-12 6770
flink 提供了专门操作redis 的RedisSink，使用起来更方便，而且不用我们考虑性能的问题，接下来将主要介绍RedisSink 如何使用
Flink维表关联之Redis(java实现)
znmdwzy的博客
08-06 2556
需求背景： 需要流数据与Redis数据进行关联查询。通常情况下Flink可以通过RichMapFunction来创建外部数据系统的client连接，来进行数据的写入和数据的读取。但这种同步查询和操作数据库的方式会因网络等问题影响数据处理的效率，如果想提升效率就要考虑增加算子的并行度，这会增多额外的资源开销。写这个也是网上java实现的资料太少了！ 解决思路： Flink在1.2版本中引入了Asynchronous I/O，能够支持异步的方式连接外部的存储系统，从而提升Flink系统与外部数据库交互的性能与吞
Flink 系例 之 Connectors 连接 Redis
jilo88的博客
01-31 1531
通过使用 Flink DataStream Connectors 数据流连接器连接到 Redis 缓存数据库，并提供数据流输入与输出操作；
Flink 流处理API
weixin_45650737的博客
02-11 297
enviroment --> source --> transform --> sink 第一步：创建运行环境 getExecutionEnvironment 已经做了集成 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(
Flink读取Kafka数据保存到Redis的解决方案教程
08-28
大数据发展史：Flink和storm sparkstreaming对比实时框架如何选择1：需要关注流数据是否需要进行状态管理 2：At-least-once或者Exectly-once消息投递模式是否有特殊要求 3：对于小型独立的项目，并且需要低延迟的场景，建议使用storm 4：如果你的项目已经使用了spark，并且秒级别的实时处理可以满足需求的话，建议使用sparkStreaming5：要求消息投递语义为 Exactly Once 的场景；数据量较大，要求高吞吐低延迟的场景；需要进行状态管理或窗口统计的场景，建议使用flink针对以上知识我们通过flink读取kafka保存到redis方式快速让大家学习flink如何使用，以及我们如果搭建高性能的flink应用，这个课程属于快速实战篇。Flink + kafka + redis 实时计算
Flink生产---15Redis、JedisUtil
weixin_42642502的博客
03-20 287
Flink 项目中访问 Redis 的方法都是自己进行的实现，推荐使用 Bahir 连接器。 在本地单机情况下： public static class RedisExampleMapper implements RedisMapper<Tuple2<String, String>>{ @Override public RedisCommandDescription getCommandDescription() { return new RedisC
如何在flink中设置redis中的数据过期时间
最新发布
05-24
在 Flink 中设置 Redis 中的数据过期时间可以通过以下步骤： 1. 在 Flink 中引入 Redis 相关的依赖，例如 jedis 和 flink-connector-redis。 2. 在 Flink 中创建一个 RedisSinkFunction，该函数负责将数据写入 Redis 中。 3. 在 RedisSinkFunction 中使用 jedis 调用 Redis 的 API 设置数据的过期时间。 下面是一个示例代码，演示了如何在 Flink 中使用 RedisSinkFunction 设置 Redis 中的数据过期时间： ```java import org.apache.flink.streaming.api.functions.sink.RichSinkFunction; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig; public class RedisSink extends RichSinkFunction<String> { private JedisPool jedisPool; // 初始化 Redis 连接池 @Override public void open(Configuration parameters) throws Exception { super.open(parameters); JedisPoolConfig poolConfig = new JedisPoolConfig(); poolConfig.setMaxTotal(10); poolConfig.setMaxIdle(5); poolConfig.setTestOnBorrow(true); jedisPool = new JedisPool(poolConfig, "localhost", 6379); } // 将数据写入 Redis 中，并设置过期时间 @Override public void invoke(String value, Context context) throws Exception { Jedis jedis = jedisPool.getResource(); jedis.set("key", value); jedis.expire("key", 60); // 设置过期时间为 60 秒 jedis.close(); } // 关闭 Redis 连接池 @Override public void close() throws Exception { super.close(); jedisPool.destroy(); } } ``` 在 Flink 的主函数中，可以将该 RedisSinkFunction 作为 SinkFunction 使用，例如： ```java DataStream<String> stream = ... // 从数据源获取数据流 stream.addSink(new RedisSink()); ``` 这样，在每次调用 RedisSinkFunction 的 invoke() 方法时，都会将数据写入 Redis 中，并设置过期时间。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值