Flink自定义数据源，模拟无界流随机生成数据

最新推荐文章于 2024-12-08 22:20:05 发布

2401_83704159

最新推荐文章于 2024-12-08 22:20:05 发布

阅读量402

点赞数 5

分类专栏：程序员文章标签： flink 服务器 java

本文链接：https://blog.csdn.net/2401_83704159/article/details/137662232

版权

本文介绍了如何在Flink中创建自定义数据源，通过一个名为`Demo1`的类来模拟无限数据流。示例中设置了环境并行度为1，并通过`GeneratorFunction`生成无限的`Demo1`实例。内容还涉及到数据转换，将生成的实例转化为二元组。此外，作者分享了个人的编程背景和经验。

摘要由CSDN通过智能技术生成

@AllArgsConstructor
@NoArgsConstructor
public class Demo1 {
private String user;
private String url;
private Long ts;
}

//环境设置
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
//设置并行度
env.setParallelism(1);
//自定义数据源
GeneratorFunction<Long, Demo1> generatorFunction = new GeneratorFunction<Long, Demo1>(){

        @Override
        public Demo1 map(Long aLong) throws Exception {
            String[]users="Mary,Alice,Bob,Cary".split(",");
            String[]urls="./home,./cart,./fav,./prod?id=1,./prod?id=2".split(",");
            //生成随机数
            Random random = new Random();
            Demo1 demo1 = new Demo1();
            demo1.setUser(users[random.nextInt(users.length)]);
            demo1.setUrl(urls[random.nextInt

最低0.47元/天解锁文章