Flink中常用的算子总结

最新推荐文章于 2024-04-26 17:07:49 发布
最新推荐文章于 2024-04-26 17:07:49 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： Flink 文章标签： Flink 算子 常用算子总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/litlit023/article/details/111759687
版权
本文总结了Flink中的关键算子，包括keyBy用于数据分发和异步处理，sum算子用于求和，以及groupBy进行数据分组。keyBy通过key的hashcode进行分区，能解决数据倾斜问题；sum算子计算数值总和；groupBy则根据指定字段进行分组，类似于数据库的groupby操作。
摘要由CSDN通过智能技术生成

总结flink中常用的算子

1. keyBy

keyBy有两个主要的应用，数据分发（处理数据倾斜、平衡数据），上下游算子异步处理

1.1 数据分发

这个算子作为一个数据分发策略【分发还有还有的策略，例如：reblance（轮询），partitionCustom（自定义）】，

keyBy是根据key的hashcode对分区数取模，根据某个字段作为key进行分组，key相同的会被分到一起，如下图示例，相同颜色的正方形分配到一起。

 

当DataStream的并行分区中数据发生倾斜时，我们会想要在这些分区中，重新平衡这些数据。这时我们可以通过一种方式来实现，使所有task会收到相同的数据。可以使用的分区策略有：

  • keyBy，根据key的hashCode对分区数取模（hashCode%partitionNum，产生的是keyedStream）
  • shuffle分区策略（random，产
了解本专栏 订阅专栏 解锁全文 超级会员免费看
mysql 分区表 range分区
陈小珂
11-12 468
首先呢我们来看下怎么创建一个分区表 在上节课的时候 我们也说过 在分区的时候 如果分区字段中有主键或者唯一索引的列，那么多有主键列和唯一索引列都必须包含进来。 1 ,按照年龄的范围 create table staff_r12( id int not null auto_increment, name varchar(40) not null, age int not null, primary...
Flink常用算子
糊里糊涂走进大数据的小菜鸡
01-17 2382
文章目录DataStream常用算子1、Map2、FlatMap3、Filter4、KeyBy5、Reduce6、Aggregations7、Window8、WindowAll9、Union10、Window Join11、Split12、Select DataStream常用算子 在 Flink 应用程序中，无论你的应用程序是批程序，还是流程序，都是上图这种模型，有数据源（source），有数据下游（sink），我们写的应用程序多是对数据源过来的数据做一系列操作，总结如下。 Source: 数据源，
mysql分区之range分区
程序员涂小哥的技术博客
11-22 7219
随着互联网的发展，各方面的数据越来越多，从最近两年大数据越来越强的呼声中就可见一斑。 我们所做的项目虽算不上什么大项目，但是由于业务量的问题，数据也是相当的多。 数据一多，就很容易出现性能问题，而为了解决这个问题我们通常很容易想到集群、分片等。 但是在某些时候却不一定必须要用集群、分片，也可以适当的使用数据分区。什么是分区？ （以下引用自：http://wangweiak47.blog.51
mysql range分区
xcshaui的博客
05-23 632
一、对已有表分区和创建： https://blog.csdn.net/orangleliu/article/details/570883381、在已经存在表中，修改分区表alter table t_fenqu PARTITION by RANGE (TO_DAYS(create_date)) ( PARTITION p0 VALUES LESS THAN (TO_DAYS('2018-06-01...
mysql RANGE分区
qq_36877577的博客
03-22 478
按照RANGE分区的表是通过如下一种方式进行分区的，每个分区包含那些分区表达式的值位于一个给定的连续区间内的行。这些区间要连续且不能相互重叠，使用VALUES LESS THAN操作符来进行定义。在下面的几个例子中，假定你创建了一个如下的一个表，该表保存有20家音像店的职员记录，这20家音像店的编号从1到20。 CREATE TABLE employees (     id INT NOT N
MySQL的range分区
ubuntulinuxjava的专栏
02-13 523
来源：http://www.hxstrive.com/article/16.htm   按照range分区的表是通过如下一种方式进行分区的，每个分区包含那些分区表达式的值位于一个给定的连续区间内的行。这些区间要连续且不能相互重叠，使用values less than操作符来进行定义。在下面的几个例子中，假如你创建了如下表，该表保存有10个人员信息，这十个人员信息的编号从1到10。 CREATE...
Flink常用算子总结
Jack__iT的博客
03-01 783
Streaming 算子 DataSet算子
Flink的DataSet基本算子总结_flink dateset 算子详解
最新发布
2301_79985178的博客
04-26 440
);//获取运行环境});//去掉重复的单词//选出长度大于3的单词}).print();//获取运行的环境//创建第一张表：用户ID 姓名//创建第二张表：用户ID 所在的城市data2.add(new Tuple2(1,“北京”));data2.add(new Tuple2(2,“上海”));data2.add(new Tuple2(3,“广州”));
三、Flink常用的转换算子
weixin_43857464的博客
12-04 1082
Flink常用转换算子常用转换算子类型一、基本转换算子1、map2、filter3、flatMap二、键控流转换算子1、keyBy：分组聚合，类似spark的groupByKey算子，将相同的key存到同一个分区中。2、 滚动聚合算子：由KeyedStream对象来调用，也就是需要用在keyBy之后。三、多流转换算子1、union：将多条流数据合并到一条流中2、connect：将两条流数据合并到一条流中三、分布式转换算子1、随机将数据打散到不同的分区（Random）2、轮询的将数据分配到不同的分区（Roun
Mysql分区 - Range分区
秃头的博客
11-24 4276
1、Range（范围） – 这种模式允许DBA将数据划分不同范围。例如DBA可以将一个表通过年份划分成三个分区，80年代（1980’s）的数据，90年代（1990’s）的数据以及任何在2000年（包括2000年）后的数据。 2、Hash（哈希） – 这种模式允许DBA通过对表的一个或多个列的Hash Key进行计算，最后通过这个Hash码不同数值对应的数据区域进行分区。例如DBA可以建立一个对表主键进行分区的表。 3、Key（键值） – Hash模式的一种延伸，这里的Hash Key是MySQL系统产
MySql采用range分区
lizhengyu891231的博客
05-16 319
转载自：https://www.cnblogs.com/dwBurning/p/mysqlrange.html 简介： RANGE分区基于一个给定的连续区间范围，早期版本RANGE主要是基于整数的分区。在5.7版本中DATE、DATETIME列也可以使用RANGE分区，同时在5.5以上的版本提供了基于非整形的RANGE COLUMN分区。RANGE分区必须的连续的且不能重叠。使用 “VALU...
mysql 分区 range_mysql range 分区
weixin_26834815的博客
02-27 130
mysql> show create table history\G;*************************** 1. row ***************************Table: historyCreate Table: CREATE TABLE `history` (`itemid` bigint(20) unsigned NOT NULL,`clock` in...
Linux简介
贼賊大宝
11-01 325
Linux简介 Linux简介 Linux是源于Minix的开源操作系统 Linux是免费与开源的操作系统 Linux严格区分大小写 Linux的版本分为内核版(官方网站提供)和发行版(各企业根据内核版改造后) CentOS是RedHat系列的Linux Linux与Windows的不同 Linux严格区分大小写 Linux中所有内容以文件形式保存，包括硬件 Linux不靠扩展名区分文件类型 Windows下的程序不能直接在Linux中安装和运行 字符界面的优势 字符界面占用系统资源更少，会让操
MySql创建Range分区
关注互联网技术
07-20 491
在MySQL 中，支持对表创建分区，主要的分区类型有Range 分区、List 分区、Hash 分区、Key 分区和子分区。     最近在项目中使用到Range 分区，将数据表进行了分区；Range 分区基于属于一个给定连续区间的列值，把多行分配给分区。每个分区包含那些分区表达式的值位于一个给定的连续区间内的行。这些区间要连续且...
mysql 分区 range,MySQL分区之RANGE分区
weixin_26516841的博客
03-17 436
环境：mysql> select version()\G;*************************** 1. row ***************************version(): 5.5.28㈠主要应用场景RANGE分区主要用于日期列的分区例如销售类的表，可以根据年份来分区存储销售记录如下是对sales表进行分区mysql> create table sale...
mysql的分区：使用range分区
健康平安的活着的专栏
06-22 5220
一.概念 1.range分区：根据分区键值的范围对数据行存储到表的不同分区中；多个分区的范围要连续，但是不能重叠，默认情况下使用values less than属性，即每个分区不包含设置的那个值，上限取不到。 2.使用场景：分区键是日期或者时间 二.案例： 1.sql语句： CREATE TABLE `bonc_test`.`user_login_tb` ( `user_id` int(10) UNSIGNED NOT NULL AUTO_INCREMENT, `user_na.
mysql range_Mysql 分区介绍(二) —— RANGE分区
weixin_34797773的博客
01-18 265
通过范围的方式进行分区, 为每个分区给出一定的范围, 范围必须是连续的并且不能重复, 使用VALUES LESS THAN操作符让我们先来创建一个range分区的表CREATE TABLE employees (id INT NOT NULL,fname VARCHAR(30),lname VARCHAR(30),hired DATE NOT NULL DEFAULT '1970-01-01',s...
Mysql分区——通过range分区
weixin_42780128的博客
04-07 480
文章目录前言一、分区类型二、RANGE分区1.新建表用来创建分区2.备份旧表3.将新表名称改为旧表 前言 随着MySQL越来越流行，Mysql里面的保存的数据也越来越大。在日常的工作中，我们经常遇到一张表里面保存了上亿甚至过十亿的记录。这些表里面保存了大量的历史记录。 对于这些历史数据的清理是一个非常头疼事情，由于所有的数据都一个普通的表里。所以只能是启用一个或多个带where条件的delete语句去删除（一般where条件是时间）。 这对数据库的造成了很大压力。即使我们把这些删除了，但底层的数据文件并没
mysql 分区 range_MySQL Range 分区详解
weixin_32434033的博客
02-27 2124
为了更好的理解分区表，故写下了此篇文章。希望把自己的每步操作都记录下来。一、简介Range 分区是最常用的一种分区类型。它是根据某个列的值划分为几个连续的区，行数据根据该列的值分别放入到不同的分区。比如：订单表，由于数据量比较大，我们根据年份来把数据存放到不同的区，比如：2010 年的数据放到p0,2011年的数据放p1，等等。当我们要查询2010年某个月的数据时，我们只需要查询p0这个分区，大大...
flink中全部算子以及详细分类介绍
04-06
Flink中的算子可以分为三类：转换算子、聚合算子和窗口算子。下面对它们进行详细介绍。...总结：Flink中的算子非常丰富，可以满足各种需求，通过合理使用这些算子，可以轻松构建出高效、可扩展的实时数据处理系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值