DataSet和DataStream的分组

最新推荐文章于 2023-01-03 17:01:00 发布

RashaunHan

最新推荐文章于 2023-01-03 17:01:00 发布

阅读量1.3k

点赞数

分类专栏： flink

本文链接：https://blog.csdn.net/u012580143/article/details/87691746

版权

6 篇文章 0 订阅

订阅专栏

一些转换（join，coGroup，keyBy，groupBy）要求在一组元素上定义一个键。其他转换（Reduce，GroupReduce，Aggregate，Windows）允许使用key 对数据进行分组。

DataSet被分组为：


DataSet<...> input = // [...]
    DataSet<...> reduced = input
        .groupBy(/*define key here*/)
        .reduceGroup(/*do something*/);

同时可以给DataStream指定一个键，方法如下：


DataStream<...> input = // [...]
    DataStream<...> windowed = input
        .keyBy(/*define key here*/)
        .window(/*window specification*/);

Flink的数据模型不是基于键值对。因此，您不需要将数据集类型物理打包到键和值中。Keys是“虚拟”：它们被定义为实际数据的函数，以指导分组运算符。

两种典型用法

dataStream.keyBy("someKey") // 指定对象中的 "someKey"字段作为分组key

dataStream.keyBy(0) //指定Tuple中的第一个元素作为分组key

注意：以下类型是无法作为key的

1：一个实体类对象，没有重写hashCode方法，并且依赖object的hashCode方法

2：一个任意形式的数组类型

3：基本数据类型，int，long

简单来说就是DataSet用groupBy分组，而DataStream用keyBy分组

关注