flink从redis中获取数据作为source源

最新推荐文章于 2024-06-20 20:04:14 发布

微风凉

最新推荐文章于 2024-06-20 20:04:14 发布

阅读量7.5k

点赞数 3

分类专栏： Flink

本文链接：https://blog.csdn.net/weixin_39150719/article/details/102485124

版权

redis中的数据：
在这里插入图片描述
需要实现SourceFunction接口，指定泛型<>,也就是获取redis里的数据，处理完后的数据输入的数据类型这里我们需要的是
（我们需要返回kv对的，就要考虑HashMap）
pom.xml

 <!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
            <dependency>
                <groupId>redis.clients</groupId>
                <artifactId>jedis</artifactId>
                <version>2.9.3</version>
            </dependency>

Java代码：

package ryx.source;

import org.apache.flink.streaming.api.functions.source.SourceFunction;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.exceptions.JedisConnectionException;

import javax.swing.plaf.TableHeaderUI;
import java.util.HashMap;
import java.util.Map;


/**
 *
 * 在redis中保存的有国家和大区的关系
 * hset  areas AREA_US US
 * hset  areas AREA_CT TW,HK
 * hset  areas AREA_AR PK,KW,SA
 * hset  areas AREA_IN IN
 *./bin/kafka-console-consumer.sh --bootstrap-server hadoop01:9092,hadoop02:9092,hadoop03:9092 --topic allDataClean--from-beginning