flink从redis中获取数据作为source源

redis中的数据:
在这里插入图片描述
需要实现SourceFunction接口,指定泛型<>,也就是获取redis里的数据,处理完后的数据输入的数据类型 这里我们需要的是
(我们需要返回kv对的,就要考虑HashMap)
pom.xml

 <!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
            <dependency>
                <groupId>redis.clients</groupId>
                <artifactId>jedis</artifactId>
                <version>2.9.3</version>
            </dependency>

Java代码:

package ryx.source;

import org.apache.flink.streaming.api.functions.source.SourceFunction;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.exceptions.JedisConnectionException;

import javax.swing.plaf.TableHeaderUI;
import java.util.HashMap;
import java.util.Map;


/**
 *
 * 在redis中保存的有国家和大区的关系
 * hset  areas AREA_US US
 * hset  areas AREA_CT TW,HK
 * hset  areas AREA_AR PK,KW,SA
 * hset  areas AREA_IN IN
 *./bin/kafka-console-consumer.sh --bootstrap-server hadoop01:9092,hadoop02:9092,hadoop03:9092 --topic allDataClean--from-beginning
Flink配置Redis可以用于实现与Redis的交互,例如读取数据或将结果写入Redis。下面是配置Redis的步骤: 1. 首先,确保你已经在Flink的依赖添加了Redis相关的库。可以通过在pom.xml文件添加以下依赖来实现: ```xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version>${flink.version}</version> </dependency> ``` 2. 在Flink的作业,你需要创建一个Redis连接器。可以使用`RedisSink`和`RedisSource`来实现与Redis的交互。例如,如果你想将数据写入Redis,可以使用`RedisSink`,示例代码如下: ```java DataStream<Tuple2<String, String>> dataStream = ...; // 输入数据流 RedisSink<Tuple2<String, String>> redisSink = new RedisSink<>(new RedisSinkFunction<>("redis-host", 6379, new RedisMapper<Tuple2<String, String>>() { @Override public RedisCommandDescription getCommandDescription() { return new RedisCommandDescription(RedisCommand.HSET, "my-hash"); } @Override public String getKeyFromData(Tuple2<String, String> data) { return data.f0; } @Override public String getValueFromData(Tuple2<String, String> data) { return data.f1; } })); dataStream.addSink(redisSink); ``` 在上述示例,我们创建了一个`RedisSink`,并指定了Redis的主机和端口。然后,我们通过实现`RedisMapper`接口来指定写入Redis的数据格式和命令。 3. 如果你想从Redis读取数据,可以使用`RedisSource`。示例代码如下: ```java RedisSource<Tuple2<String, String>> redisSource = new RedisSource<>(new RedisSourceFunction<>("redis-host", 6379, new RedisMapper<Tuple2<String, String>>() { @Override public RedisCommandDescription getCommandDescription() { return new RedisCommandDescription(RedisCommand.HGETALL, "my-hash"); } @Override public Tuple2<String, String> mapFromRedisValue(RedisValue value) { return Tuple2.of(value.getString(0), value.getString(1)); } })); DataStream<Tuple2<String, String>> dataStream = env.addSource(redisSource); ``` 在上述示例,我们创建了一个`RedisSource`,并指定了Redis的主机和端口。然后,我们通过实现`RedisMapper`接口来指定从Redis读取的数据格式和命令。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值