flink中的keyBy中的key

最新推荐文章于 2024-05-03 04:20:13 发布
最新推荐文章于 2024-05-03 04:20:13 发布
阅读量508 收藏
点赞数
分类专栏： Flink 文章标签： flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jin_Lemon/article/details/115417476
版权

这个key是虚拟key，没有实体，所以不会返回。
其是从进来的流数据中选取的字段。
关键看这个虚拟key是什么类型。

KeyedStream<Tuple3<String, String, Integer>, Tuple> keyedStream = map.keyBy(0);
keyedStream.print();
KeyedStream<Tuple3<String, String, Integer>, String> KeyedStream5 = map.keyBy(tuple -> tuple.f1);

我的博客即将同步至腾讯云+社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan?invite_code=3it8lnyw4zggs

CoreDao
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【FLink】flink keyby 分布不均匀问题
九师兄
04-12 2037
1.概述 转载并且补充： flink keyby 分布不均匀问题 我使用随机数random.nextint(8)作为key，生成keyedstream之后，直接sink到存储中，但是sink算子只有四个slot在使用，另外四个是空闲状态，数据倾斜严重，请问是什么原因呢 第一想法，难道是随机数不均匀，于是我测试一下，结果发现随机数挺均匀的 /** * 测试点：测试随机值真的随机吗 * * {0=12531, 1=12448, 2=12538, 3=12466, 4=12530
flink的key-state
qq_44698610的博客
10-28 241
同key的进行状态计算，比较两者的区别 package com.uu.state import java.util.Date import com.uu.two.Humman import com.uu.two.utils.DateTrans import org.apache.flink.api.common.functions.RichFlatMapFunction import org.apache.flink.api.common.state.{ValueState, ValueStateDes
Apache Flink中keyBy三种方式指定key
wzf_winner的博客
01-23 1182
Apache Flink中keyBy三种方式指定key
2024年最新Flink 中KeyBy、分区、分组的正确理解_flink keyby
最新发布
2401_84186109的博客
05-03 601
keyBy 得到的结果将不再是 DataStream，而是会将 DataStream 转换为 KeyedStream(键控流)，KeyedStream 可以认为是“分区流”或者“键控流”，它是对 DataStream 按照 key 的一个逻辑分区。所以泛型有两个类型：除去当前流中的元素类型外，还需要指定 key 的类型。Flink中的KeyBy底层其实就是通过Hash实现的，通过对Key的值进行Hash，再做一次murmurHash，取模运算。
Flink从入门到放弃—Stream API—常用算子(filter 和 keyBy）
京河小蚁的博客
11-14 837
我们可以看到KeyedStream和filter、map、flatMap算子有差异了，keyBy算子没有使用DataStream,而是另起了一个继承于DataStream的类 KeyedStream。值得一提的是，有些同学说源码生涩难懂，其实不是，你看上面if判断里的东西其实都是咱们学过的继承多态等基础知识，filter调的其实也是用户代码实现的filter。同时，KeySelector选择器也不一样，它返回的是一个KEY。上面代码没有实际业务含义，就是最简单的应用，目的是为了看其源码。
Flink中指定Key的几种方式
SmallCatBaby的博客
07-12 1778
前言 在Flink中比如某些算子（join,coGroup,keyBy,groupBy）要求在数据元上定义key。另外有些算子操作，例如reduce，groupReduce，Aggregate，Windows需要数据在处理之前根据key进行分组。 在Flink中数据模型不是基于Key,Value格式处理的，因此不需将数据处理成键值对的格式，key是“虚拟的...
flink keyby指定key方式详解
bitcarmanlee的博客
09-17 5431
这种操作在各种大数据计算引擎中都非常常见，比如最早的mapreduce，从map阶段到reduce阶段，就是通过shuffle操作将具有相同key的数据分配到同一个reduce端进行处理。比如如果数据是个比较复杂的嵌套结构Tuple2，如果我们想对内部嵌套的Tuple2的第一个字段进行keyby操作，就无法通过字段号来操作，这个时候我们可以通过字段名的方式来进行代替。先定义个内部静态类，静态类包含有两个字段，分别为word与count。
flink获取kafka的key value timestamp header
cclovezbf的博客
09-23 2649
flilnk在消费kafka数据的时候，我们习惯性的add一个kafkaConsumer，似乎万年不变，但是单我们需求变化的时候，我们该怎么办？现在有需求，我们要获取kafka的的timestamp，然后跟进入flink的时间的对比，看flink处理数据的延迟时间有多少？注意 这里的DataStreamSource 的类型是string，而这个string就是kafka的value。还可以获取 partition offset 这些信息，看自己了。最简单的办法，百度。这位是用scala写的。
flink reduce详解
冰血ANG的博客
03-05 7316
背景： flink有两种reduce的方式，一种是正常的reduce，一种是windows窗口的reduce，本文主要介绍两种reduce方式的区别 1、正常的reduce 1.1 代码示例 val resultResult = inputstream .keyBy(_.sensor_id) .reduce(new ReduceFunction[SensorReading] { override def reduce(t: SensorReading, t1: Sen
Flink中对keyBy的探究
热门推荐
dinghua_xuexi的专栏
08-01 2万+
0 摘要 在Flink实时流数据处理中，经常用到keyBy算子, 虽然能够大致不差的使用它，实现自己的需求。然而这个算子到底做了什么事情，心里一直没有底。这篇文章算是对keyBy算子稍微深入一点的探究。 1 Spark中的按key分组操作 对于经常使用spark的同学而言，分组操作数据，那是再熟悉不过。比如groupBy, reduceBy, aggregateBy等一系列算子。基本思路都是指定key之后, 将相同key的元素集合到一个集合里面，形成一个新的集合元素，...
Apache Flink 零基础入门（七）Flink中keyBy三种方式指定key
chikoucha6215的博客
08-29 2804
keyBy 如何指定key 不管是stream还是batch处理，都有一个keyBy(stream)和groupBy(batch)操作。那么该如何指定key？ Some transformations (join, coGroup, keyBy, groupBy) require ...
Flink 自定义source和sink，获取kafka的key，输出指定key
anfuyi5792的博客
06-24 3408
--------20190905更新-------　　 沙雕了，可以用JSONKeyValueDeserializationSchema，接收ObjectNode的数据，如果有key，会放在ObjectNode中 if (record.key() != null) { node.set("key", mapper.readValue(record.k...
Flink 中KeyBy、分区、分组的正确理解
文文x的博客
10-13 3193
数据具体去往哪个分区，是通过指定的 key 值先进行一次 hash 再进行一次 murmurHash，通过上述计算得到的值再与并行度进行相应的计算得到。在Flink中，KeyBy作为我们常用的一个聚合类型算子，它可以按照相同的Key对数据进行重新分区，分区之后分配到对应的子任务当中去。Flink中的KeyBy底层其实就是通过Hash实现的，通过对Key的值进行Hash，再做一次murmurHash，取模运算。注意：数据如果具有相同的key将一定去往同一个分组和分区，但是同一分区中的数据不一定属于同一组。
flink的分区key指定方法
weixin_42412645的博客
06-15 2892
flink窗口函数和group by，join，coGroup算子都需要指定key进行转换。下面的介绍一些key几种方式 1.根据字段位置。主要对tuple类型，pojo类会出错。注意：这个是相对于最外元素而言，同时不能指定嵌套里面的位置 指定嵌套里面的字段为key，从结果看出是按照嵌套的第二字段分区的但是以第一个进入为第一个字段了。 2.根据字段名称，主要是pojo类。但是对sum这种聚合函数都...
Flink keyBy 分流与Window操作
WYRM
04-10 1万+
import org.apache.flink.api.java.functions.KeySelector; import org.apache.flink.api.java.tuple.Tuple; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.configuration.Configuration...
05_Flink Streaming KeyedStream
codemosi的专栏，点击我可以跳到目录一栏
06-06 5643
KeyedStream继承了DataStream，是由datastream的keyBy()，产生的。表示按key的value分区过的流。在datastream的功能基础上，由添加了一些max,min等聚合的功能。 //1：聚合函数 1：aggregate，通过AggregationFunction实现类，实现各种数据聚合的功能 2：sum，数据累加 3：max，取最大数 4：mi
聊聊flink KeyedStream的aggregation操作
weixin_34416649的博客
12-30 851
序 本文主要研究一下flink KeyedStream的aggregation操作 实例 @Test public void testMax() throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();...
flink keyby操作的原理
zc280330的博客
01-20 3070
对比spark：spark的keyby操作是按照key将所有的value聚合成一个collection flink的keyby：则主要是将相同key的元素拉到同一个partition，因此也会在同一个task中被处理，但是元素与元素之间并没有聚合的操作。 ...
Flink流数据采集笔记(四):各种Transform转换算子
YyyZzzLllx的博客
07-28 511
Flink的各种Transform转换算子
flink1.16 keyby 丢数据
09-21
在Flink 1.16版本中，keyBy操作并不会丢失数据。keyBy操作用于将输入的DataStream按照指定的Key进行分区，将具有相同Key的元素发送到同一个任务中进行处理。这样可以确保具有相同Key的数据被发送到同一个任务中，从而能够进行后续的计算操作。 在keyBy操作中，数据被分区后会发送到不同的算子实例中，这些实例可以运行在不同的计算节点上。这些实例会维护各自的状态，并在需要时进行数据交换。因此，在keyBy操作中并不会丢失数据，只是将数据按照指定的Key进行分区。 然而，如果在keyBy操作之后的计算过程中存在算子的并行度不够高、计算资源不足或计算任务比较耗时等问题，可能会导致数据的堆积或丢失。所以，在实际使用中，需要根据具体情况合理设置算子的并行度、增加计算资源的分配等措施，以保证数据的正常处理。 另外，Flink 1.16版本有关keyBy的一些新特性，如改进的keyBy操作的内部实现、合并多个keyBy操作等，可以帮助用户更好地优化和控制数据的分区方式，提高算子的性能和数据处理能力。因此，在使用Flink 1.16的keyBy操作时，可以结合这些新特性进行配置和调优，以获得更好的数据处理效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CoreDao

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值