3 DataStream API 简介

最新推荐文章于 2024-04-22 08:28:40 发布
最新推荐文章于 2024-04-22 08:28:40 发布
阅读量290 收藏
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38201936/article/details/107232305
版权
本文深入介绍了Apache Flink的DataStream API，详细阐述了如何将各种类型的数据转化为流，包括基本类型、Java tuples和POJOs。重点讨论了tuple的支持范围以及POJO的定义标准。同时，通过一个完整的示例展示了如何创建基本的stream source和sink，如从socket和文件读取数据，以及如何使用print sink将结果输出。文中强调在实际应用中，通常会选择如Kafka、Kinesis等高性能数据源，并提及流处理中的数据增强场景。
摘要由CSDN通过智能技术生成

本章节是充分全面地了解 DataStream API，以便于编写流式应用入门。

1 什么能被转化成流？

Flink 的 Java 和 Scala DataStream API 可以将任何可序列化的对象转化为流。Flink 自带的序列化器有

  • 基本类型，即 String、Long、Integer、Boolean、Array
  • 复合类型：Tuples、POJOs 和 Scala case classes

而且 Flink 会交给 Kryo 序列化其他类型。也可以将其他序列化器和 Flink 一起使用。特别是有良好支持的 Avro。

2 Java tuples 和 POJOs

Flink 的原生序列化器可以高效地操作 tuples 和 POJOs

2.1 Tuples

对于 Java，Flink 自带有 Tuple0 到 Tuple25 类型。

Tuple2&l
了解本专栏 订阅专栏 解锁全文 超级会员免费看
3分钟秒懂大数据
关注
专栏目录
订阅专栏
Flink SQL - 3.Table 与 DataStream API 集成
BITDDD小栈
10-26 904
Flink SQL DataStream API 集成语法展示。
Flink DataStream API编程入门
最新发布
L
08-01 312
DataStream API的名称来自于DataStream类，该类用于表示Flink程序中的数据集合。您可以将它们视为包含重复项的不可变数据集合。这些数据可以是有限的，也可以是无限的，但是用于处理它们的API是相同的。在使用方面，数据流与常规Java Collection类似，但在一些关键方面有很大不同。DataStream是不可变的，这意味着一旦创建了它们，就不能添加或删除元素。您不仅可以简单地检查其中的元素，还可以使用DataStream API算子（也称为转换）对它们进行处理。
DataStream API 介绍
lm324114的专栏
11-03 312
Data Sources source是程序的数据输入，你可以通过SteamExecutionEnvironmpent.addSource(SourceFuntion) 来为你的程序添加一个source flink提供了大量的已经实现好的source方法，你也可以自己自定义source (1). 通过实现sourceFunction接口来自定义无并行度的source pa...
（八）Flink DataStream API 编程指南 - 2 执行模式
京河小蚁的博客
05-23 427
DataStream API 支持不同的运行时执行模式，你可以根据你的用例需要和作业特点进行选择。 DataStream API 有一种”经典“的执行行为，我们称之为流（STREAMING）执行模式。这种模式适用于需要连续增量处理，而且预计无限期保持在线的无边界作业。 此外，还有一种批式执行模式，我们称之为批（BATCH）执行模式。这种执行作业的方式更容易让人联想到批处理框架，比如 MapReduce。这种执行模式适用于有一个已知的固定输入，而且不会连续运行的有边界作业。 Apache Flink 对流处理
DataStream API（一）
JiaXingNashishua的博客
09-10 1088
我们想要读取的数据源来自某个外部系统，而 flink 既没有预实现的方法、也没有提供连接器， 又该怎么办呢？那就只好自定义实现 SourceFunction 了。接下来我们创建一个自定义的数据源，实现 SourceFunction 接口。主要重写两个关键方法：run()和 cancel()。⚫ run()方法：使用运行时上下文对象（SourceContext）向下游发送数据；⚫ cancel()方法：通过标识位控制退出循环，来达到中断数据源的效果。
5、DataStream API
李玉坤的博客
09-27 312
1、编程概述 Flink中的DataStream程序是常规程序，可对数据流实施转换（例如，iltering, updating state, defining windows, aggregating）。最初从各种来源（例如，消息队列，套接字流，文件）创建数据流。结果通过接收器返回，接收器可以例如将数据写入文件或标准输出（例如命令行终端）。Flink程序可以在各种上下文中运行，独立运行或嵌入其他程...
Flink学习笔记（五）DataStream API
番茄炒蛋三分糖
05-25 635
文章目录前言5. DataStream API5.1 执行环境5.1.1 创建执行环境5.1.2 执行模式5.1.3 触发程序执行5.2 源算子（Source）5.2.1 准备工作5.2.2 从集合中读取数据5.2.3 从文件读取数据5.2.4 从Socket读取数据5.2.5 从Kafka读取数据5.2.6 自定义Source5.2.7 Flink支持的数据类型5.3 转换算子(Transformation)5.3.1 基本转换算子5.3.2 聚合算子（Aggregation）5.3.3 用户自定义函数（
Flink官网实例：基于DataStream API 实现欺诈检测，完整实现
02-07
本实例将详细讲解如何利用 Flink 的 DataStream API 实现欺诈检测，这是一个非常实用的应用场景，例如在金融交易、网络安全等领域。我们将探讨以下几个关键知识点： 1. **Flink DataStream API**：DataStream API ...
flink datastream api 示例大全
10-19
Flink DataStream API是Apache Flink流处理框架的核心部分，用于处理无界和有界数据流。这个API提供了丰富的操作符来构建复杂的数据处理管道。以下是对标题和描述中涉及的知识点的详细解释： 1. **异步IO...
Flink 1.17教程：转换算子（Transformation）
学亮编程手记
09-03 275
用户自定义函数（user-defined function，UDF），即用户可以根据自身需求，重新实现算子的逻辑。用户自定义函数分为：函数类、匿名函数、富函数类。当Flink提供的所有分区策略都不能满足用户的需求时，我们可以通过使用partitionCustom()方法来自定义分区策略。1）自定义分区器@Override2）使用自定义分区。
DataStreamAPI介绍与实战
11-06
DataStreamAPI介绍与实战，是学习大数据非常好的资料！
DataStream API 简介
CarloPan的博客
05-17 296
DataStream API 简介# 该练习的重点是充分全面地了解 DataStream API，以便于编写流式应用入门。 什么能被转化成流？# Flink 的 Java 和 Scala DataStream API 可以将任何可序列化的对象转化为流。Flink 自带的序列化器有 基本类型，即 String、Long、Integer、Boolean、Array 复合类型：Tuples、POJOs 和 Scala case classes 而且 Flink 会交给 Kryo 序列化其他类型。也可..
1.DataStream API-概念
JY631591678的博客
08-25 261
1.什么是DataStream DataStream API的名称来自特殊的DataStream类，该类用于表示Flink程序中的数据集合。可以将它想像成包含重复项的不可变数据集合。此数据集合可以是有界的，也可以是无界的，用于处理它们的API是相同的。 在用法方面，DataStream与常规Java Collection相似，但在某些关键方面有很大不同。DataStream是不可变的，一旦创建就无法添加或删除元素。只能使用DataStream API操作（transformations）对其进行处理。
Flink04: Flink核心API之DataStream
anglemanyi的博客
02-21 648
Flink中提供了4种不同层次的API，每种API在简洁和易表达之间有自己的权衡，适用于不同的场景。目前上面3个会用得比较多。• 低级API(Stateful Stream Processing)：提供了对时间和状态的细粒度控制，简洁性和易用性较差，主要应用在一些复杂事件处理逻辑上。
Flink学习3-DataStream API简介
qq_40342691的博客
07-06 486
DataStream概述
DataStream API（二）
SoulMan50的博客
07-17 283
DataStream API（二） 书接上回，在上一篇DataStream API介绍中我们了解到Flink程序一般由五部分组成。分别是： 获得执行环境(Environment)， 加载/创建初始数据(Source)， 指定此数据的转换(Transform)， 指定计算结果的存放位置(Sink)， 触发程序执行(Execut) Environment和Source已经介绍过了，接下来我们来了解一下Transform以及Flink支持的数据类型。话不多说，Let`s go! Transform map D
Fink DataStreamAPI介绍与使用
weixin_42177302的博客
03-04 536
Fink DataStreamAPI介绍与使用 DataSources数据输入 第一步 // 第一步：创建流处理执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); 1.内置数据源 （1）文件数据源 // 直接读取文本文件 DataStreamSource<String> textStream = env.readTextFile("D:\\project\\fl
实验七 DataStream API编程实践
个人博客地址为https://elikgrade.gitee.io/
04-22 2133
title: 实验七 DataStream API编程实践description: 大数据flink基础作业imageSlim。
Apache Flink DataStream 编程全集
麦田里的守望者-蒋中洲【相信相信的力量】
03-04 627
概述 Flink是构建在数据流之上的有状态计算的流计算框架，通常被人们理解为是第三代大数据分析方案。 第一代 - Hadoop的MapReduce计算（静态）、Storm流计算（2014.9） ；两套独立计算引擎，使用难度大 第二代 - Spark RDD 静态批处理(2014.2)、DStream|Structured Streaming 流计算;统一计算引擎，难度系数小 第三代 - Flin...
datastream api
05-25
Datastream API是汤森路透公司（Thomson Reuters）提供的一种金融数据服务接口。它提供了全球金融市场的实时、历史和衍生数据，包括股票、债券、外汇、商品、指数等多种资产类别。使用Datastream API可以方便地获取...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

3分钟秒懂大数据

你的打赏就是对我最大的鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值