《基于 Apache Flink 的流处理》阅读笔记（二）

最新推荐文章于 2024-07-10 09:09:08 发布
最新推荐文章于 2024-07-10 09:09:08 发布
阅读量2.6k 收藏 2
点赞数
分类专栏： Flink学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PanicJaw/article/details/105175726
版权
本文主要介绍了Apache Flink的流处理基础，包括Dataflow图的构成与并行性体现，数据交换策略如转发、广播、基于键值和随机策略，以及并行流处理中的延迟和吞吐概念。此外，还探讨了数据流上的无状态和有状态操作，如转换、滚动聚合和窗口操作，以及时间语义和状态管理的重要性。
摘要由CSDN通过智能技术生成

第二章 流处理基础

Dataflow图

  • 至少有一个输入源一个输出汇，是一个有向图；算子是Dataflow中基本的功能单元。
    • 从不同的抽象层次将Dataflow分为宏观上的逻辑图和实际运行时的物理结构图

并行性的体现：

  • 数据并行：将输入数据分组，让执行同一操作的不同算子实例作用在不同的数据子集上；均衡负载
    数据并行
  • 任务并行：将输入数据复制多份，交给执行不同操作的算子实例处理
    在这里插入图片描述

数据交换策略

怎样将数据分配给物理Dataflow中的算子实例

  • 转发策略（forward）：上下游一对一数据传输，安排在同一个物理机器上能避免网络开销
    在这里插入图片描述
  • 广播策略&
最低0.47元/天 解锁文章
PanicJaw
关注
专栏目录
《基于 Apache Flink 的流处理》阅读笔记（三）
PanicJaw的博客
04-20 1120
《基于 Apache Flink 的流处理》阅读笔记（二） Apache Flink架构 运行时架构：四个JVM进程运行在不同的物理节点上 JobManager： 主进程控制单个应用程序执行，每个应用程序都有一个JobManager进行控制 包括：JobGraph（Dataflow图，执行时转化为物理Dataflow图）+ 类库资源的 JAR 包 根据物理 Dataflow 图（Exec...
《基于Apache Flink的流处理》读书笔记
热门推荐
Ronnie147
01-17 7万+
第1章 状态化流处理概述 传统数据处理 绝大多数企业所实现的传统架构都会将数据处理分为两类： 事务型处理 分析型处理 事务型处理 企业在日常业务运营过程中会用到各类应用，例如：客户管理管理软件、基于Web的应用等，这些应用系统通常都会设置独立的数据处理层（应用程序本身）和数据存储层（事务型数据库系统）。 这些应用通常会连接外部服务或实际用户，并持续处理诸如订单、邮件、网站点击等传入的数据。期间每处理一条事件，应用都会通过执行远程数据库系统的事务来读取或者更新状态，多个应用会共享同一个数据库系统，有时候还
流处理框架Stream Processing with Apache Flink.zip
05-28
现在大数据处理里面比较公认的流处理框架，Stream Processing with Apache Flink；
深入探索Apache Flink：流处理的艺术与实践
最新发布
weixin_53840353的博客
07-10 1230
Apache Flink是一个分布式处理引擎，支持批处理和流处理。它提供了DataStream API和DataSet API，分别用于处理无界和有界数据集。Flink的核心优势在于其能够以事件时间（event-time）处理数据，确保即使在乱序或延迟数据的情况下，也能得到准确的结果。本文详细介绍了如何使用Apache Flink进行流处理，并通过多个代码示例展示了Flink的基本用法和高级特性。
【资料合集】Apache Flink 精选PDF下载
weixin_34072458的博客
05-15 2899
Apache Flink是一款分布式、高性能的开源流式处理框架，在2015年1月12日，Apache Flink正式成为Apache顶级项目。目前Flink在阿里巴巴、Bouygues Teleccom、Capital One等公司得到应用，如阿里巴巴对Apache Flink的应用案例。 为了更好地让大家了解和使用Apache Flink，我们收集了...
《基于 Apache Flink 的流处理》阅读笔记
PanicJaw的博客
03-15 1793
第一章 ：状态化流处理概述 数据处理框架 把数据处理框架分为两类 事物型处理：企业日常运营业务中的各类应用 企业资源规划（ERP），客户关系管理（CRM）还有一些基于Web的应用 独立的数据处理层：也就是应用程序本身：连接外部用户或者服务，处理操作传入的数据，每次操作都会访问数据库读取或者更新状态 数据存储层：事物型数据库，外部操作就会访问这个数据库 这种“单点”在扩容更新会有问题，现在...
Flink流数据采集笔记(一):介绍/特点/初识流处理
YyyZzzLllx的博客
07-24 533
Flink学习笔记第一篇:介绍Flink/Flink特点/初识无界流处理Flink
FlinkForwardChina基于ApacheFlink的搜索处理平台.pdf
08-29
FlinkForwardChina基于ApacheFlink的搜索处理平台.pdf
解决 基于Apache Flink的流处理 example AverageSensorReadings 报错
Vicent的专栏
10-21 433
运行Java Examples for Stream Processing with Apache Flinkhttps://github.com/streaming-with-flink/examples-java报错 Exception in thread "main" java.lang.VerifyError: Uninitialized object exists on backward branch 209 Exception Details: Location: scal...
Apache Flink流处理(一)
Piemon&Anokata的博客
11-26 1986
Apache Flink是一个分布式流处理器，它使用直接且富有表现力的API来实现有状态的流处理程序。它以容错的方式高效地大规模运行这类应用程序。Flink于2014年4月加入Apache软件基金会作为孵化项目，并于2015年1月成为顶级项目。从一开始，Flink就有一个非常活跃且不断增长的用户和贡献者的社区。到目前为止，已有超过350人参与了Flink的工作，它已经发展成为最成熟的开源流处理引擎...
Apache Flink践行Apache 之道.pdf
05-22
Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。再换句话说，Flink 会把所有任务当成流来处理，这也是其最大的特点。
ApacheFlink技术进阶.pdf
08-29
阿里云资深技术专家莫问在2017云栖大会·北京峰会中做了题为《Apache Flink技术进阶》的分享,就Apache Flink Introduction，阿里巴巴对Flink的贡献，Flink在阿里巴巴的应用等方面的内容做了深入的分析。
FlinkForwardChina2018Alink基于ApacheFlink的算法平台.pdf
08-29
FlinkForwardChina2018Alink基于ApacheFlink的算法平台.pdf
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值