基于flink将数据写入到redis缓存数据库

最新推荐文章于 2024-05-04 23:11:47 发布

zbr19950316

最新推荐文章于 2024-05-04 23:11:47 发布

阅读量1.1k

点赞数 7

分类专栏：学习flink 双周计划文章标签： redis 缓存数据库

本文链接：https://blog.csdn.net/zbr19950316/article/details/126724241

版权

学习flink 同时被 2 个专栏收录

5 篇文章 0 订阅

订阅专栏

双周计划

4 篇文章 0 订阅

订阅专栏

目的

不停的去获取当前最近一次访问的话，会发现数据是在不停改变，不停更新的，如果我们实时的把数据做一个输出去进行监控的话，就可以看到当前每一个用户实时的最近一次访问的变化

1、代码展示

package com.atguigu.chapter0905;

import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.redis.RedisSink;
import org.apache.flink.streaming.connectors.redis.common.config.FlinkJedisPoolConfig;
import org.apache.flink.streaming.connectors.redis.common.mapper.RedisCommand;
import org.apache.flink.streaming.connectors.redis.common.mapper.RedisCommandDescription;
import org.apache.flink.streaming.connectors.redis.common.mapper.RedisMapper;

public class SinkToRedis {
    public static void main(String[] args) throws Exception {

        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        //因为是clickSource数据源，不会停止，无限循环
        DataStreamSource<Event> stream = env.addSource(new ClickSource());

        //创建一个jedis连接配置
        FlinkJedisPoolConfig config = new FlinkJedisPoolConfig.Builder()
                .setHost("10.0.81.155")
                .setPort(6379)
                .setDatabase(5)
                .setPassword("sungrow2011")
                .build();

        //写入redis
        stream.addSink(new RedisSink<>(config,new MyRedisMapper()));
        env.execute();
    }
    //自定义类实现RedisMapper接口
    public static class MyRedisMapper implements RedisMapper<Event>{

        @Override
        //getCommandDescription()方法主要是返回当前Redis操作命令的描述，
        //我们当前想要做的操作是想要把当前每一个用户的访问事件这个数据写入到Redis保存
        public RedisCommandDescription getCommandDescription() {
            //希望把所有用户的访问信息都保存在一张表里面，接下来要操作的是一张hash表
            //第一个参数是像Redis里面一张hash表去写入的命令，第二个参数是表的名称
            return new RedisCommandDescription(RedisCommand.HSET,"clicks");
        }

        @Override
        //针对每一个用户去写入，相当于同一个用户的数据要不停的更新
        //当前的key是user
        public String getKeyFromData(Event data) {
            return data.user;
        }

        @Override
        //还需要定义当前的data是什么
        public String getValueFromData(Event data) {
            //保存的是当前用户最近一次访问的页面地址
            return data.url;
        }
    }
}

2、ClickSource数据源代码展示

package com.atguigu.chapter0905;
import org.apache.flink.streaming.api.functions.source.SourceFunction;

import java.util.Calendar;
import java.util.Random;

public class ClickSource implements SourceFunction<Event> {
    //声明一个标志位，用来控制数据的发生
    private Boolean running = true;

    @Override
    public void run(SourceContext<Event> ctx) throws Exception {
        //循环生成数据
        Random random = new Random();
        //定义字段选取的数据集
        String[] users = {"Mary", "Alice", "Bob", "Cary"};
        String[] urls = {"./home", "./cart", "./fav", "./prod?id=100", "./prod?id=10"};

        //循环生成数据
        while (running) {
            String user = users[random.nextInt(users.length)];
            String url = urls[random.nextInt(urls.length)];
            long timestamp = Calendar.getInstance().getTimeInMillis();
            ctx.collect(new Event(user, url, timestamp));
            Thread.sleep(1000);
        }

    }

    @Override
    public void cancel() {
        running=false;
    }
}