Flink重要概念

最新推荐文章于 2024-07-24 16:31:12 发布
最新推荐文章于 2024-07-24 16:31:12 发布
阅读量404 收藏 1
点赞数
分类专栏： Flink 入门到实践 文章标签： Flink 检查点 状态计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22222499/article/details/88623518
版权
  • 无状态计算：对于一条数据处理后，就输出了，没有保存状态
  • 有状态计算：对于一条数据处理后，更新已有的状态，这里给一个例子，比如计算一个小时内的温度的最高值，在处理数据过程中根据处理的数据，不断更新当前的最大温度值
  • 数据一致性的三个级别： at least one 数据可能计多
  • 数据一致性的三个级别： at monst one 数据可能计少
  • 数据一致性的三个级别： exactly-one 数据准确
  • 检查点机制：检查点机制是实现exactly-one的重要方式，相当于是程序运行在某一时刻的快照，给个例子，

还是以计算一个小时的温度最高值来看，假设在每分钟处理一条数据，在处理完第12条数据时，当时的最高温度是39度，这时候做一个快照，然后继续处理，在处理15条数据的时候失败了，可以从12数据这个检查点重新开始处理数据

wending-Y
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Flink基本概念.pdf
07-17
在阿里大牛的技术分享中，会介绍Flink的这些基本概念和运行原理，以及Flink在处理实时数据流方面的优势和特点。通过使用github上的在线教程资源，开发者可以进一步学习和掌握Flink的使用方法，实现数据处理任务的...
Flink知识点总结 Flink简介
cliper9768的博客
10-10 3万+
flink记录
Flink1.13学习_第 1 章 初识 Flink
qq_33434458的博客
08-23 772
Flink 大数据 应用
Flink -1- 简介和运行架构
最新发布
苍煜
07-24 3011
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大数据的计算引擎分成了 4 代，当然，也有很多人不会认同。我们先姑且这么认为和讨论。
flink介绍(一)
chengfangdong的博客
07-31 7193
flink，大数据
Flink 应用场景
沉淀
04-15 2234
应用场景 Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括：批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上，还支持在裸机集群上独立部署。在启用高可用选项的情况下，它不存在单点失效问题。事实证明，Flink 已经可以扩展到数千核心...
什么是Flink？Flink能用来做什么？
热门推荐
凌桓丶的博客
02-08 15万+
什么是Flink？Flink能用来做什么？
flink 1.14.4 源码下载
04-03
Apache Flink 是一个开源的流处理和批处理框架，它在大数据领域扮演着重要的角色。Flink 1.14.4 是该框架的一个稳定版本，提供了诸多改进和新特性，旨在提高性能、稳定性和易用性。在这个版本中，我们可以深入研究其...
flink动态业务规则
08-18
本主题将深入探讨“Flink 动态业务规则”这一概念，它允许用户在不中断正在运行的任务时，灵活地调整业务逻辑，以应对快速变化的业务需求。 首先，我们要理解 Flink 的核心特性之一是其持续运行的流式计算模型。...
初识 Flink
qq_29342297的博客
12-14 234
Flink Flink 基本介绍 Flink概述 官网 分布式的计算引擎 支持批处理 ，即处理静态的数据集、历史的数据集 支持流处理 ，即实时地处理一些实时数据流 支持基于事件 的应用【比如说滴滴通过 Flink CEP 实现实时监测司机的行为流来判断司机的行为是否正当】 Apache Flink – Stateful Computations over Data Streams Stateful Computations over Data Streams ，即数据流上的有状态的计
flink实战--flink原理解析
阿华田的博客
09-30 2万+
Flink出现的背景 我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。Storm实现了低延迟，但是目前还没有实现高吞吐，也不能在故障发生的时候准确的处理计算状态（将数据从一个事件保存到另一个事件的，这些保留下来的是数据较计算状态），同时也不能实现exactly-once。SparkStreaming通过微批处理方法............
Flink 的组件栈有哪些
weixin_59295776的博客
12-18 858
根据 Flink 官网描述，Flink 是一个分层架构的系统，每一层所包含的组件都提供了特定的抽象，用来服务于上层组件。 自下而上，每一层分别代表：Deploy 层：该层主要涉及了Flink的部署模式，在上图中我们可以看出，Flink 支持包括local、Standalone、Cluster、Cloud等多种部署模式。Runtime 层：Runtime层提供了支持 Flink 计算的核心实现，比如：支持分布式 Stream 处理、JobGraph到ExecutionGraph的映射、调度等等，为上层.
Flink知识点大全总结
liuwei0376的专栏
07-08 1万+
全文总计6万字、110个知识点、160张原理、流程图。提纲如下：01、Flink 基础篇Flink是一个以 流 为核心的高可用、高性能的分布式计算引擎。具备 流批一体，高吞吐、低延迟，容错能力，大规模复杂计算等特点，在数据流上提供 数据分发、通信等功能。数据流：所有产生的 数据 都天然带有 时间概念，把 事件 按照时间顺序排列起来，就形成了一个事件流，也被称作数据流。流批一体：首先必须先明白什么是 有界数据 和 无界数据有界数据，就是在一个确定的时间范围内的数据流，有开始，有结束，一旦确定就不会再改变，一
Flink是什么
chbxw
06-20 2865
  在当前数据量激增的时代，各种业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效的处理，成为当下大多数公司所面临的问题。目前比较流行的大数据处理引擎 Apache Spark，基本上已经取代了 MapReduce 成为当前大数据处理的标准。但对实时数据处理来说，Apache Spark 的 Spark-Streaming 还有性能改进的空间。对于Spark-Streaming 的流计算本质上还是批（微批）计算，Apache Flink 就是近年来在开源社区不断发展的技术中的能够同时支持
Flink:史上最详细的介绍(一)[简介]
07-27 2万+
1.Flink简介 1.1Flink引入 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。 Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着. 在国外一些社区，有很多人将大数据的计算引擎分成了 4 代，当然，也有很多人不会认同。我们先姑且这么认为和讨论。 首先第一代的计算引擎，无疑就
Flink保姆级教程,超详细,教学集成多个第三方工具(从入门到精通)
Oz_Mood的博客
04-02 6261
Flink 允许你通过实现接口来创建自定义数据源。// 定义一个自定义数据源Thread.sleep(1000) // 模拟数据生成延迟// 创建执行环境// 添加自定义数据源// 打印数据流// 启动 Flink 作业以上示例展示了如何在 Scala 中使用 Flink DataStream API 来从不同的数据源获取数据。每个示例都包含了创建数据流的代码和对数据流进行操作的注释。这些示例可以作为构建更复杂 Flink 流处理作业的起点。
Flink保姆级教程，超全五万字
gjhuai的专栏
01-12 4380
上图 Source 的并行度为 2。我们知道，流处理从事件产生，到流经 source，再到 operator，中间是有一个过程和时间的，虽然大部分情况下，流到 operator 的数据都是按照事件产生的时间顺序来的，但是也不排除由于网络、背压等原因，导致乱序的产生，所谓乱序，就是指 Flink 接收到的事件的先后顺序不是严格按照事件的 Event Time 顺序排列的，所以 Flink 最初设计的时候，就考虑到了网络延迟，网络乱序等问题，所以提出了一个抽象概念：水印（WaterMark）；
Apache Flink详解：从基础到高级概念
Flink的核心概念包括Event Streams、State、（Event）Time和Snapshots，其中Event Streams代表事件流，State用于处理有状态计算，（Event）Time解决数据乱序的一致性问题，Snapshots则确保数据一致性和故障恢复。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wending-Y

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值