keyBy()用法 Flink

最新推荐文章于 2024-08-03 17:58:56 发布

万事无Bug

最新推荐文章于 2024-08-03 17:58:56 发布

阅读量3.4k

点赞数

分类专栏： Flink 文章标签： flink java big data

本文链接：https://blog.csdn.net/weixin_45264992/article/details/120653006

版权

本文介绍了Apache Flink中数据分区的方法，包括通过keyBy()按照元组元素、POJO类字段以及使用自定义KeySelector函数进行分区。示例展示了如何按照元组的不同位置进行分区，以及如何基于POJO类的特定字段和自定义逻辑进行数据分组。这些分区策略在流处理中用于确保相同key的数据被发送到同一个处理任务，以实现窗口聚合等操作。

摘要由CSDN通过智能技术生成

Flink对数据分区

前言：
Flink其实是不存储键值对数据的，但是我们可以人为创建key，将其分组。下面介绍如何使用map算子人为将数据分区。

介绍keyBy()用法
1 按照元组的元素来分区

.        //流处理环境
        StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment();
        DataStreamSource<String> text = see.readTextFile("datas/1.txt");
        text.flatMap(new FlatMapIterator<String, String>() {
   
            @Override
            public Iterator<String> flatMap(String s) throws Exception