Flink学习第三天——一文带你了解什么是Flink流？

最新推荐文章于 2024-07-24 16:31:12 发布
最新推荐文章于 2024-07-24 16:31:12 发布
阅读量119 收藏
点赞数
分类专栏： Flink从小白变小黑 文章标签： flink 学习 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16397653/article/details/126110576
版权
本文详细介绍了Apache Flink，包括其作为分布式处理引擎的角色、在各大公司中的应用、实时处理的场景，以及有界和无界数据流的概念。Flink擅长处理这两种数据流，并提供高性能。文中还提及了Flink中的基本操作，如source、transformation和sink。
摘要由CSDN通过智能技术生成

  • 什么是Flink

  • 有谁在用呢（基本大厂都在用）

    • 用来做啥：实时数仓建设、实时数据监控、实时反作弊风控、画像系统等

  • 概念

    • 数据流

      • 任何类型的数据都可以形成一种事件流，信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Java天下第1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flink系列：无界和有界数据流定义与区别
NIO4444
05-30 3437
有界流 有定义流的开始，也有定义流的结束。 有界流可以在摄取所有数据后再进行计算。 有界流所有数据可以被排序，所以并不需要有序摄取。 有界流处理通常被称为批处理 有界流，Flink则由一些专为固定大小数据集特殊设计的算法和数据结构进行内部处理，产生了出色的性能。 无界流 有定义流的开始，但没有定义流的结束。 它们会无休止地产生数据。 无界流的数据必须持续处理，即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理，因为输入是无限的，在任何时候输入都不会完成。 ...
剑指大数据——Flink学习精要_java版
04-21
"Flink学习精要_java版" Flink 是一个由 Apache 软件基金会旗下的开源大数据处理框架，当前已经成为各大公司大数据实时处理的发力重点。Flink 起源于一个叫作 Stratosphere 的项目，由柏林理工大学的教授沃克尔·...
Flink的有界流和无界流
weixin_42796403的博客
03-01 581
Flink的两个小Demo 一、创建maven项目 POM文件中添加需要的依赖: <properties> <flink.version>1.12.0</flink.version> <java.version>1.8</java.version> <scala.binary.version>2.11</scala.binary.version> <slf4j.version>1.
Flink -1- 简介和运行架构
最新发布
苍煜
07-24 2135
这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默的发展着。在国外一些社区，有很多人将大数据的计算引擎分成了 4 代，当然，也有很多人不会认同。我们先姑且这么认为和讨论。
一文了解Flink数据-有界数据与无界数据
CainGao
02-25 2673
在常规的数据处理中，我们最常访问的可能是来自于Mysql，文本等存储介质中的数据，对其进行计算分析。但是现在也越来越的出现流式计算的场景，对于某些时刻产生的数据能够进行实时性的分析。例如天猫双十一实时大屏，实时异常行为检测等。 有界数据集 有界数据集对开发者来说都很熟悉，在常规的处理中我们都会从Mysql，文本等获取数据进行计算分析。我们在处理此类数据时，特点就是数据是静止不动的。也就...
flink介绍：有界流和无界流
学亮编程手记
09-21 455
日志：
大数据之无界数据流和有界数据流
wangxiaowu_001的博客
10-24 2348
无界流：有一个开始但是没有结束，不会在生成时终止并提供数据，必须连续处理无界流，也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达，因为输入是无界的，并且在任何时间点都不会完成。处理无界数据流通常要求以特定顺序（例如事件发生的顺序）获取event，以便能够推断结果完整性。 有界数据流：有界数据流有明确定义的开始和结束，可以在执行任何计算之前通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有界数据集进行排序，有界流的处理也称为批处理。 ...
一文让你彻底了解大数据实时计算引擎Flink
02-23
第一代：Hadoop承载的MapReduce第二代：支持DAG（有向无环图）框架的计算引擎Tez和Oozie，主要还是批处理任务第三代：支持Job内部的DAG（有向无环图），以Spark为代表第四代：大数据统一计算引擎，包括流处理、...
《剑指大数据——Flink学习精要（Java版）》（最终修订版）.pdf
03-25
《剑指大数据——Flink学习精要...《剑指大数据——Flink学习精要（Java版）》（最终修订版）是一本非常有价值的学习资源，能够帮助读者深入了解Flink的大数据处理框架，了解Flink的设计理念、应用领域、特点和优势。
剑指大数据——Flink学习精要（Java版)最终修订版
06-18
《剑指大数据——Flink学习精要（Java版）》是一部深入探讨大数据处理技术的专著，特别聚焦于Apache Flink这一实时计算框架。在Java编程环境下，Flink以其高效、稳定和强大的流处理能力，成为了大数据领域的热门选择...
一文让你彻底了解大数据实时计算引擎 Flink
01-26
Flink的核心理念是流处理，其认为批处理只是流处理的一个特例。这意味着，无论数据是有界还是无界，Flink都能进行有效处理。 【数据集类型和运算模型】 在Flink中，数据集主要分为两类：有界数据集和无界数据集。...
flink是什么？以及批处理和流处理、有界流和无界流的区别？
m0_53396342的博客
04-13 1979
软件面试常见问题：flink是什么？以及批处理和流处理、有界流和无界流的区别？
Flink详解系列之二--核心概念
wr_java的博客
04-13 188
在重新分发数据的过程中，元素只有在每对输出和输入子任务之间才能保留其之间的顺序信息（例如，keyBy/window 的 subtask[2] 接收到的 map() 的 subtask[1] 中的元素都是有序的）。这意味着 map() 算子的 subtask[1] 输入的数据以及其顺序与 Source 算子的 subtask[1] 输出的数据和顺序完全相同，即同一分区的数据只会进入到下游算子的同一分区。顾名思义，无界数据流就是指有始无终的数据，数据一旦开始生成就会持续不断的产生新的数据，即数据没有时间边界。
flink教程：flink的有界、无界数据流、流批一体、容错能力等概念
学亮编程手记
08-30 963
数据流：所有产生的数据都天然带有时间概念，把 事件 按照时间顺序排列起来，就形成了一个事件流，也被称作数据流。首先必须先明白什么是有界数据和无界数据有界数据，就是在一个确定的时间范围内的数据流，有开始，有结束，一旦确定就不会再改变，一般批处理 用来处理有界数据，如上图的 bounded stream。无界数据，就是持续产生的数据流，数据是无限的，有开始，无结束，一般流处理用来处理无界数据。如图 unbounded stream。Flink的设计思想是以流。
flink常见的算子
m0_47310235的博客
07-11 496
这个滑动窗口的意思是，在当前时间窗口内，每隔 5 秒钟计算最近 15 秒的数据，即每次计算最近 15 秒内的数据，计算完成后，窗口向右滑动 5 秒，开始计算最近 15 秒的数据，以此类推。在 reduce() 函数中，使用了一个匿名内部类实现 ReduceFunction 接口，其中的 reduce() 方法对输入元素进行聚合，将两个整数元素相加，并返回聚合结果。在 Flink 中，Filter 算子是一个数据流转换算子，用于过滤掉不符合条件的数据元素，并将满足条件的数据元素继续传递给下游算子进行处理。
Flink---1、概述、快速上手
星光不问赶路人，岁月不负有心人
09-04 792
Flink---1、概述、快速上手
Java修仙传之Flink篇
weixin_50914566的博客
10-26 336
有界流：数据结束了，程序也就结束了知道数据开始以及结束的地方。
Flink入门
weixin_65996579的博客
07-04 966
Flink 入门介绍
Flink:史上最详细的介绍(二)[架构体系]
07-27 5249
2. Flink 架构体系 2.1 Flink 中的重要角⾊ JobManager 处理器： 也称之为 Master， 用于协调分布式执行， 它们用来调度 task， 协调检查点， 协调失败时恢复等。 Flink 运行时至少存在一个 master 处理器， 如果配置高可用模式则会存在多个 master 处理器， 它们其中有一个是 leader， 而其他的都是 standby。 TaskManager 处理器： 也称之为 Worker， 用于执行一个 dataflow 的 task(或者特殊的 subtas
《剑指大数据——Flink学习精要：深入解析Flink底层架构和优势》
剑指大数据——Flink学习精要_java版是一本深入探讨Apache Flink的开源大数据处理框架的书籍。第一章从Flink的起源和设计理念开始，介绍了Flink在大数据实时处理领域的应用和优势，以及与其他大数据处理框架的比较。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Java天下第1

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值