flink中split与select操作

最新推荐文章于 2024-04-16 19:33:41 发布
最新推荐文章于 2024-04-16 19:33:41 发布
阅读量3.1k 收藏
点赞数
分类专栏： flink 入门到精通 文章标签： flink 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/congge_study/article/details/122483147
版权
本文介绍了Flink中split和select操作的使用。split用于将一个DataStream拆分成多个子流，例如在电商用户行为日志分析中按标签拆分。示例代码展示了如何根据温度值创建高低温流并进行后续处理。select操作则允许选择性地处理这些拆分后的流。
摘要由CSDN通过智能技术生成

前言

在某些场景下，从一个原始文件中读取到的输入流，放在一起处理的话可能会带来操作上的不便，比如，电商网站中对一批用户行为日志进行分析时，需要根据不同的标签做过滤，如果转换成输入流之后统一处理的话，就不太好

flink中提供了split相关的API方便开发者对原始的流进行拆分，同时也提供了select流对多个不同渠道的流进行选择性处理

Split操作

顾名思义，split即为拆分，将一条流拆分成多条流，DataStream → SplitStream：根据某些特征把一个 DataStream 拆分成两个或者

多个 DataStream

了解本专栏 订阅专栏 解锁全文 超级会员免费看
逆风飞翔的小叔
关注
专栏目录
订阅专栏
FlinkSQL split_index 的用法
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-12 3733
1 添加 <properties> <flink.version>1.9.3</flink.version> <flink.scala.version>2.11</flink.scala.version> </properties> <dependency> <groupId>org.apache.flink</groupId> <artifactId&
Flink DataStream Split 实现分流
SmartSi
09-07 604
需要注意的是 Split 只是对数据流中的数据进行标记，并没有实现数据流的真正拆分。使用 Split 实现分流需要在 split 算子中定义 OutputSelector，然后重写其中的 select 方法，将不同类型的数据进行标记，最后对返回的 SplitStream 使用 select 方法将对应的数据选择出来。所谓分流，就是将一条数据流拆分成完全独立的两条、甚至多条流。一般来说，我们会定义一些筛选条件，将符合条件的数据拣选出来放到对应的流里。需要注意的是 Split 不支持连续分流，即不支持。
Flink的分流操作，分别用split-select和process-getSideOutput实现
dontlikerabbit的博客
04-04 608
package org.example import org.apache.flink.streaming.api.scala._ import scala.collection.mutable.ArrayBuffer object MyRandom { def main(args: Array[String]): Unit = { //创建执行环境 val env = StreamExecutionEnvironment.getExecutionEnvironment //设
Flink 系例 之 Split
不会飞的小龙人的博客
11-22 989
Split算子：将数据流切分成多个数据流（已过时，并且不能二次切分，不建议使用） 示例环境 java.version: 1.8.x flink.version: 1.11.1 示例数据源（项目码云下载） Flink 系例 之 搭建开发环境与数据 Split.java package com.flink.examples.functions; import com.flink.examples.DataSource; import org.apache.flink.api.common..
Flink--Split和select
05-22 731
Split就是将一个DataStream分成两个或者多个DataStream Select就是获取分流后对应的数据 val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) val elements: DataStream[Int] = env.fromElemen...
Flink 从0到1学习—— Flink 不可以连续 Split(分流)？
http://www.54tianzhisheng.cn/
06-13 2208
前言 今天上午被 Flink 的一个算子困惑了下，具体问题是什么呢？ 我有这么个需求：有不同种类型的告警数据流(包含恢复数据)，然后我要将这些数据流做一个拆分，拆分后的话，每种告警里面的数据又想将告警数据和恢复数据拆分出来。 结果，这个需求用 Flink 的 Split 运算符出现了问题。 分析 需求如下图所示： 我是期望如上这样将数据流进行拆分的，最后将每种告警和恢复用不同的消息模版做一个渲染...
Flink转换算子之分流(Split/Side)
lixinkuan的博客
06-07 3559
一、分流(Split/Side) 分流可以将一个流拆分成多个流。基于Split...Select... package com.lxk.test; import org.apache.flink.api.java.tuple.Tuple3; import org.apache.flink.streaming.api.collector.selector.OutputSelector; import org.apache.flink.streaming.api.datastream.DataStrea
Flink 数据源分流/一个数据源分成多个/使用filter/使用split / select（已废弃）/side outputs 旁路输出
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-17 1830
实时数据分流的方法 1 使用filter 2 使用split / select（已废弃） package splitStream; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.collector.selector.OutputSelector; import org.apache.flink.streaming.api.datastream.DataStream; i.
flink学习笔记-split & select(拆分流)
weixin_30732825的博客
03-29 990
说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程： Flink大数据项目实战：http://t.cn/EJtKhaz split 1.DataStream → SplitStream 2.按照指定标准将指定的DataStream拆分成多个流用SplitStream来表示 ...
flink算子split、select、connect、union、project示例代码
铛铛当的博客
11-04 736
对flink相关算子的总结归纳 参考： flink1.10官方文档 github大数据flink知识点 当前maven配置为： <properties> <flink.version>1.10.0</flink.version> </properties> <!-- Flink dependencies --> <dependency> <groupId>org..
聊聊flink DataStream的split操作
weixin_33695082的博客
01-14 409
序 本文主要研究一下flink DataStream的split操作 实例 SplitStream&lt;Integer&gt; split = someDataStream.split(new OutputSelector&lt;Integer&gt;() { @Override public Iterable&lt;String&gt; select(Integer value...
flink当中的打标签过滤函数split
weixin_45896475的博客
03-03 1485
flink当中的打标签过滤函数splik 当我们在运行flink的时候经常会遇到数据的过滤,在flink当中我们经常遇到过滤出某中数据类型或者将数据打好标签分类,实时运算,今天我们就聊聊flink当中的split select算子函数 public class SplitDemo { public static void main(String[] args) throws Excepti...
Flink SQL 自定义函数 - 字符串拆分
最新发布
qq_36382892的博客
04-16 990
/ 实现eval方法，用于拆分输入字符串并输出每个子串if (str!= null) {// 使用指定正则表达式对输入字符串进行拆分// 使用collect(...)方法发射一行数据。
27、Flink 的SQL之SELECT (窗口函数)介绍及详细示例（3）
热门推荐
alanchanchn的专栏
09-20 4万+
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的table api与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置 16、Flink 的table api与sql之
Flink DataStream 基于Select方式一次性同步Mysql表到Mysql
qq_41875667的博客
06-19 498
代码写的很菜，各位大佬如有优化的点子，还请提出，如有问题，也请反馈，只想跟大佬们一起进步，加油，奥里给。mysql 版本5.7 注意：不需要开启。MysqlReader:读取源mysql数据。MysqlWriter:写入目标Mysql。windows11 IDEA 本地运行。数据一批次性同步非CDC功能哈。MysqlCdcMysql:主类。，因为是基于表数据查询获取数据。目标表:user_new。
Flink 多流转换 （一） 分流
weixin_45417821的博客
04-19 1190
文章目录 所谓“分流”，就是将一条数据流拆分成完全独立的两条、甚至多条流。也就是基于一个DataStream，得到完全平等的多个子 DataStream 使用侧输出流在 Flink 1.13 版本中，已经弃用了.split()方法，取而代之的是直接用处理函数（process function）的侧输出流（side output）。 处理函数本身可以认为是一个转换算子，它的输出类型是单一的，处理之后得到的仍然是一个 DataStream；而侧输出流则不受限制，可以任意自定义输出数据，它们就像从“主流”上分叉
flink学习(7)之Transformation操作union、connect、filter、split、select、partition分区
枣泥馅的博客
05-06 581
flink的union操作 在操作union操作之前必须保证列数相同、类型一致，它是把俩个数据流和在一起。 准备数据源 public class MyNoParalleSource implements SourceFunction<Integer> { private Boolean isRunning=true; private Integer counter=0; public void run(SourceContext<Integer> source
Flink系列之：SELECT & WHERE clause
zhengzaifeidelushang的博客
12-16 246
select_list 规范 * 表示查询将解析所有列。但是，在生产中不鼓励使用 *，因为它会使查询对目录更改的鲁棒性降低。相反，select_list 可以指定可用列的子集或使用所述列进行计算。它可以是现有表、视图或 VALUES 子句、多个现有表的联接结果或子查询。假设该表在目录中可用，以下代码将从 Orders 中读取所有行。查询还可以使用 VALUES 子句使用内联数据。此外，可以在单行的列上调用内置和用户定义的标量函数。用户定义的函数在使用前必须注册到目录中。可以基于 WHERE 子句过滤行。
Flink StreamSQL简介
张包峰的博客
07-01 1万+
Flink Stream SQLOverviewblog https://flink.apache.org/news/2016/05/24/stream-sql.html提到目前Table API的问题，batch和stream的API各自能支持的query不一样。 However, the original Table API had a few limitations. First of a
flinksql split函数
05-18
FlinkSQL 中的 SPLIT 函数用于将一个字符串按照指定的分隔符分割成一个字符串数组。它的语法如下： ``` SPLIT(str, delimiter) ``` 其中，str 是要进行分割的字符串，delimiter 是分隔符。该函数返回一个字符串数组，数组中的每个元素都是 str 字符串中被 delimiter 分隔开的子串。 例如，假设有一个字符串为 "hello,world,flink"，要以逗号为分隔符将其分割成一个字符串数组，可以使用以下 FlinkSQL 代码： ``` SELECT SPLIT('hello,world,flink', ','); ``` 执行该语句后，会返回一个包含三个元素的字符串数组：["hello", "world", "flink"]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

逆风飞翔的小叔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值