2.Flink DateStream API

最新推荐文章于 2023-09-22 15:53:06 发布
最新推荐文章于 2023-09-22 15:53:06 发布
阅读量227 收藏 1
点赞数
分类专栏： 大数据 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30366667/article/details/120710442
版权
本文介绍了Flink的分布式流处理模型，该模型主要包括输入、处理和输出三部分。Flink作为一个批流一体的数据处理引擎，其核心概念如Flink SQL、Table API和DataStream API的关系进行了阐述。通过一个WordCount的示例展示了如何使用DataStream API，从创建StreamExecutionEnvironment到定义数据源、处理逻辑和输出Sink的完整流程。StreamExecutionEnvironment在Flink中起到关键作用，负责任务调度、数据源管理和优化等。
摘要由CSDN通过智能技术生成

分布式流处理模型

抄的网图，下图就是典型的flink 分布式流处理模型

主要将数据分为三部分，输入，处理，输出三部分。

flink 就是一个批流一体的数据处理引擎和工具。

其中flink sql ，flink table api ，flink date stream 关系如图：

首先类似hadoop wordcount demo，flink 版也来的wordcount，告诉你整体怎么用这个datastreamAPI。

执行这个要包含main方法，和MR类似；实际上，数据处理也和离线差不多，定义数据输入，数据处理，定义数据输出。

        1.对应离线MR，flink 的context 为StreamExecutionEnviroment,和hadoop的元数据类似。

        2.flink的数据输入为dataStream,不同类型的数据定义不同的dataStream，然后使用addSource添加源。

        3.数据处理类似于spark lambda风格。

        4.flink的数据输入为sink，定义sink 也可以addSink来定义。

        5.对应执行要使用env.exe

最低0.47元/天 解锁文章
身体健康,万事如意
关注
专栏目录
Flink Hudi DataStream API代码示例
主要分享大数据相关的知识，如Spark、Hudi
05-22 1444
总结Flink通过DataStream API读写Hudi Demo示例，主要是自己备忘用。最开始学习Flink时都是使用Flink SQL,所以对于Flink SQL读写Hudi比较熟悉。但是对于写代码实现并不熟悉，而有些需求是基于Flink代码实现的，所以需要学习总结一下。仅为了实现用代码读写Hudi的需求，其实有两种方式，一种是在代码里通过Flink SQL API，也就是代码中执行Flink SQL，这种方式其实和通过SQL实现差不多，另一种方式是通过DataStream API实现。
Flink DataStream之输出数据到File中
QYHuiiQ
07-12 1039
正在写入的文件会有inprogress的标识（在指定的目录下生成文件时会按照日期的年月日时进行分目录，因为我在执行时的时间是2023/7/12 22点，所以它就会自动生成一个2023-07-12--22目录，分桶策略也可以自己在代码中配置。
DateStream
erpng的专栏
01-25 572
import java.io.*; public class TestDataStream { public static void main(String[] args) { ByteArrayOutputStream baos = new ByteArrayOutputStream(); DataOutputStream
Flink学习5-DateStream API简介二
qq_40342691的博客
11-15 634
transformation算子简介
DataStream API 简介
CarloPan的博客
05-17 282
DataStream API 简介# 该练习的重点是充分全面地了解 DataStream API，以便于编写流式应用入门。 什么能被转化成流？# Flink 的 Java 和 Scala DataStream API 可以将任何可序列化的对象转化为流。Flink 自带的序列化器有 基本类型，即 String、Long、Integer、Boolean、Array 复合类型：Tuples、POJOs 和 Scala case classes 而且 Flink 会交给 Kryo 序列化其他类型。也可..
Flink--4、DateStream API（执行环境、源算子、基本转换算子）
最新发布
星光不问赶路人，岁月不负有心人
09-22 995
DateStream API（执行环境、源算子、基本转换算子）
Flink学习——DataStream API
five小点心的博客
05-17 1803
/ 标志位// run方法：不停循环，发送数据// 1. 随机数生成器// 2. 用标志位作为循环判断的条件，不断发送数据// 3. 调用sourceContext的方法向下游发送数据sourceContext.collect(SensorReading("生成:"+i,1,1))// cancel方法：定义标志位，用于run中断的控制读取自定义的数据源Flink 的 DataStream API 编程风格其实是一致的：基本上都是基于 DataStream 调用一个方。
十二、Flink实战--DataStream、DateSet、TableAPI 、SQL各种实现
大数据之路
05-27 2194
Flink API实现1. DataStream 实现2. DataSet 实现3. Table API & SQl实现 今天我们模拟实际生成，从kafka消费数据，利用flink的各种API实现，统计wordcount。 1. DataStream 实现 package com.bigdata.flink.datasteam; import org.apache.flink.api.c...
Flink知识总结（汇总）
weixin_49165958的博客
04-20 2876
一、Flink cdc 1.简介 1.1 CDC种类 FlinkCDC，简单了解下Change Data Capture(变更数据获取)的概念： 核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、 更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费 CDC的种类：主要分为基于查询和基于Binlog两种方式，区别： 针对Binlog的CDC，有如下的区别分析： 1.2 FlinkCDC 版本 Flink自然也不甘示弱，FlinkCDC应运而生，通过
3.flinkDateStreamAPI介绍env与source
woshiwjma956的博客
03-02 401
3.flinkDateStreamAPI介绍env与source
JAVA基础 day23 IO流的其他类 （对象的序列化 管道流 RandomAccessFile类（随机读取文件） DateStream（操作基本数据类型的流） 操作数组的流 ）字符编码问题
春水上行的博客
10-25 613
IO流其他类对象的序列化 序列化：把Java对象转换为字节序列的过程。 反序列化：把字节序列恢复为Java对象的过程用途：把对象的字节序列永久的保存到硬盘上，通常存在文件中。 在网络上传输对象的字节序列。编程：进行将对象存取到文件的操作当类实现Serializable接口，序列化运行时，使用一个称为 serialVersionUID 的版本号与每个可序列化类相关联，这时如果改
Java 跨平台 特定数据访问流 Date--Stream
Dexter的博客
04-10 211
package dateStream; import java.io.*; public class DataStream { public DataInputStream(FileInputStream fis) { } public static void main(String args[]) { try { DataOutputStream dos; DataI...
Flink学习笔记(5)——DataSteam API
qq_64557330的博客
10-20 1614
/声明一个标志位@Override// 在指定的数据集中随机选取数据id=2"};));// 隔 1 秒生成一个点击事件，方便观测}}@Override}}//这种简单的自定义Source方法只可以指定并行度为1}//实现自定义的并行SourceFunction，这样可以指定更高的并行度(这里直接用静态类完成，不去重新新建一个类了)@Override}}@Override}}}93);}
Flink源码解析系列--StreamExecutionEnvironment类
热门推荐
打酱油的葫芦娃
03-31 1万+
本文的Flink源码版本为: 1.15-SNAPSHOT，读者可自行从Github clone. Flink 程序看起来像一个转换 DataStream 的常规程序。每个程序由相同的基本部分组成： 获取一个执行环境（execution environment）； 加载/创建初始数据； 指定数据相关的转换； 指定计算结果的存储位置； 触发程序执行。 StreamExecutionEnvironment 是所有 Flink 程序的基础。 创建 你可以使用 StreamExecutionEnvironme.
DataStream API介绍与使用（一）
SunnyRivers
06-14 8696
DataStream编程模型 在Flink整个系统架构中，对流计算的支持是其最重要的功能之一，Flink基于Google提出的DataFlow模型，实现了支持原生数据流处理的计算引擎。Flink中定义了DataStream API让用户灵活且高效地编写Flink流式应用。DataStream API主要可为分为三个部分，DataSource模块、Transformation模块以及DataSink...
Streaming(DataStream API): 概念介绍
u013343882的博客
09-20 3270
Streaming(DataStream API) 原文参考: https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/datastream_api.html#collection-data-sources Overview Flink DataStream Api 编程指南 在Flink中的DataSt...
vba for wps 7.0_两表数据核对，WPS表格真香
weixin_39805387的博客
11-09 794
小伙伴们好啊，前两天咱们分享了关于数据对比的两期内容，分别是VBA法和Power Query法(点击蓝色文字可查看具体内容)。实话实说，这些方法的使用过程确实有些复杂。相比之下，WPS的数据对比功能就很人性化了。接下来咱们就以下面这组数据为例，来看看WPS的数据对比功能到底怎么样。一：高亮显示两表都有的数据二：高亮显示两表唯一的数据三：提取两表都有的数据四：提取两表唯一的数据以上这些操作...
【Flink】（05）Apache Flink 漫谈系列 —— SocketWindowWordCount 程序执行过程源码分析
云祁QI
07-12 597
本文主要是根据一段简单的 `SocketWindowWordCount` 代码，进而对 Flink 的执行过程进行剖析。
package org.tysfjsj.aaa import java.sql.Timestamp import java.text.SimpleDateFormat import org.apache.flink.api.common.functions.AggregateFunction import org.apache.flink.api.common.state.{ListState, ListStateDescriptor} import org.apache.flink.api.scala._ import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.functions.KeyedProcessFunction import org.apache.flink.streaming.api.functions.timestamps.BoundedOutOfOrdernessTimestampExtractor import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment import org.apache.flink.streaming.api.scala.function.WindowFunction import org.apache.flink.streaming.api.windowing.time.Time import org.apache.flink.streaming.api.windowing.windows.TimeWindow import org.apache.flink.util.Collector import scala.collection.mutable.ListBuffer
06-02
这段代码是一个Scala语言的Flink应用程序的一部分。具体来说，它导入了一些Java和Scala的类和包，包括java.sql.Timestamp、java.text.SimpleDateFormat、org.apache.flink等。这个应用程序使用了Flink的流处理API，将时间特征设置为TimeCharacteristic，然后使用BoundedOutOfOrdernessTimestampExtractor对数据流进行时间戳提取和乱序限制。接下来，它定义了一个AggregateFunction和一个WindowFunction，用于对窗口中的数据进行聚合和处理。最后，它使用KeyedProcessFunction对数据流进行键控处理，并使用ListStateDescriptor来维护键控状态。这个应用程序的具体实现需要查看完整代码才能确定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值