Flink基础系列22-Sink之Redis

一.pom.xml文件配置

查看Flink 1.9.0版本的官方文档
https://ci.apache.org/projects/flink/flink-docs-release-1.9/
image.png

可以看到连接里面是没有Redis,不过Bahir中有
image.png

参考官网提供的pom文件

<dependency>
  <groupId>org.apache.bahir</groupId>
  <artifactId>flink-connector-redis_2.11</artifactId>
  <version>1.1-SNAPSHOT</version>
</dependency>

居然报错,提示不存在

好吧,我在网上找了个博客:https://blog.csdn.net/qq_43605654/article/details/103618893

参考博客里面的配置,最后成功了

<!--连接redis依赖-->
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-redis_2.11</artifactId>
    <version>1.1.5</version>
</dependency>

二.代码准备

package org.flink.sink;

import org.flink.beans.SensorReading;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.redis.RedisSink;
import org.apache.flink.streaming.connectors.redis.common.config.FlinkJedisPoolConfig;
import org.apache.flink.streaming.connectors.redis.common.mapper.RedisCommand;
import org.apache.flink.streaming.connectors.redis.common.mapper.RedisCommandDescription;
import org.apache.flink.streaming.connectors.redis.common.mapper.RedisMapper;


/**
 * @author 只是甲
 * @date   2021-09-14
 * @remark Sink之Redis
 */

public class SinkTest2_Redis {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        // 从文件读取数据
        DataStream<String> inputStream = env.readTextFile("C:\\\\Users\\\\Administrator\\\\IdeaProjects\\\\FlinkStudy\\\\src\\\\main\\\\resources\\\\sensor.txt");

        // 转换成SensorReading类型
        DataStream<SensorReading> dataStream = inputStream.map(line -> {
            String[] fields = line.split(",");
            return new SensorReading(fields[0], new Long(fields[1]), new Double(fields[2]));
        });

        // 定义jedis连接配置
        FlinkJedisPoolConfig config = new FlinkJedisPoolConfig.Builder()
                .setHost("localhost")
                .setPort(6379)
                .build();

        dataStream.addSink( new RedisSink<>(config, new MyRedisMapper()));

        env.execute();
    }

    // 自定义RedisMapper
    public static class MyRedisMapper implements RedisMapper<SensorReading>{
        // 定义保存数据到redis的命令,存成Hash表,hset sensor_temp id temperature
        @Override
        public RedisCommandDescription getCommandDescription() {
            return new RedisCommandDescription(RedisCommand.HSET, "sensor_temp");
        }

        @Override
        public String getKeyFromData(SensorReading data) {
            return data.getId();
        }

        @Override
        public String getValueFromData(SensorReading data) {
            return data.getTemperature().toString();
        }
    }
}

三.测试

运行完成第二步的Java代码后,登陆redis查看:
image.png

参考:

  1. https://www.bilibili.com/video/BV1qy4y1q728
  2. https://ashiamd.github.io/docsify-notes/#/study/BigData/Flink/%E5%B0%9A%E7%A1%85%E8%B0%B7Flink%E5%85%A5%E9%97%A8%E5%88%B0%E5%AE%9E%E6%88%98-%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0?id=_521-%e4%bb%8e%e9%9b%86%e5%90%88%e8%af%bb%e5%8f%96%e6%95%b0%e6%8d%ae
Flink Redis集群Sink是将Flink流处理的结果写入Redis集群中的一种方式。Redis是一种常用的开源内存数据结构存储系统,具有高性能、高可用性和可扩展性的特点。 Flink是一个流计算框架,具有并行计算、分布式处理和容错性等特点。在Flink中,可以通过使用RedisSink来实现将计算结果写入Redis集群。RedisSink提供了将数据写入Redis的接口和配置信息。用户可以根据需求设置Redis的连接信息、数据类型以及序列化方式等。 在使用Redis集群Sink时,需要注意以下几点: 1. 连接配置:需要提供Redis集群的连接信息,包括IP地址、端口号、密码等。如果Redis集群中有多个节点,则需要提供其中一个节点的信息即可。 2. 数据类型:Redis支持多种数据类型,包括字符串、哈希表、列表、集合和有序集合等。根据需要将数据写入相应的数据类型中。 3. 序列化方式:数据在传输和存储时一般需要进行序列化,需要选择合适的序列化方式,如JSON、Avro或Protobuf等。 4. 批量写入:为了提高性能,可以考虑将数据批量写入Redis,而不是逐条写入。可以根据实际情况设置每次写入的数据量。 使用Flink Redis集群Sink可以实现高效、可靠地将Flink流处理的结果写入Redis集群,使得计算结果可以随时被其他系统或服务查询和使用。同时,Redis集群的高可用性和可扩展性也能保证数据的安全和可持续处理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值