Flink基础学习（一）

最新推荐文章于 2024-02-06 10:55:55 发布
最新推荐文章于 2024-02-06 10:55:55 发布
阅读量162 收藏
点赞数
分类专栏： flink学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangsiting123/article/details/105824192
版权

窗口分类

1、Time-based Window（基于时间窗口）

  • Tumbling window
  • Sliding window

2、Count-Based Window（基于数量窗口）

  • Tumbling window
  • Sliding window

3、Session Window

4、全局窗口
翻滚数量窗口与翻滚时间窗口
滑动时间窗口与滑动数量窗口
会话窗口

时间

  • ProcessTime（处理时间）
    执行操作的机器的当前系统时间（每个算子不一样）
  • EventTime（事件事件）
    事件生成时的事件，在进入flink时已经存在，可以在event的字段中抽取
  • IngestionTime（摄入时间）
    事件进入flink的时间，即在source里获取的当前系统时间，后续操作统一使用该时间
    flink中用到的时间
Laura_莫名其妙
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Flink基础]---- Flink学习规划（初级）
欢迎来到我的博客，一起探索代码里的世界！
09-26 1988
都言：“光说不练假把式”，但个人觉得打牢基础是非常必要的！适当通过 ”理论 + 实践 “ 的结合，可能效果更好！一直唠嗑着要好好学学 Flink，也没有系统地去弄，这次来真的了。 Apache Flink 学习目录 1、Flink 介绍 1.1 关于Apache Flink 1.2Flink 和 Spark 的对比 1.3怎样在Flink社区做贡献 1.4 Flink ...
flink入门_Flink 基础入门（一看就会）
weixin_39861734的博客
11-21 4371
前言Spark Streaming 准确来说算是一个微批处理伪实时的做法，可是 Flink 是真的来一条就会处理一条，而且在 Spark Streaming 和 Kafka 进行整合时我们需要手动去管理偏移量的问题，而在 Flink 当中，它就会自动地去帮助我们去管理。而且 Flink 的算子比 Spark Streaming 的丰富多了，Flink是未来的趋势，起码我是这么认为的一、Flink基...
Flink学习1-Flink基础概念
qq_40342691的博客
05-11 492
什么是Flink? 这里我们需要了解一个概念“流处理”。在自然环境中，数据的产生原本就是流式的。无论是来自 Web 服务器的事件数据，证券交易所的交易数据，还是来自工厂车间机器上的传感器数据，其数据都是流式的。但是当你分析数据时，可以围绕 有界流（bounded）或 无界流（unbounded）两种模型来组织处理数据，当然，选择不同的模型，程序的执行和处理方式也都会不同。 有界流可以用“批处理”程序来处理，在计算结果输出之前输入整个数据集来进行排序、汇总统计，然后再输出结果。 无界流就用“流处理”程序来处理
Flink入门学习
white_bird_shit的博客
01-31 2097
Flink学习 官网: https://flink.apache.org/ 1. Flink简介 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run in all common cluster environments, perform com
Flink基础教程-----学习笔记
热门推荐
loredp的博客
01-20 1万+
Flink基础教程 Flink，Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架。 Flink是如何实现批处理和流处理？Flink 将批处理（即处理有限的静态数据）视作一种特殊的流处理。 Flink技术栈的核心组成部分，如下图： DataStream API 可以流畅地分析无限数据流，并且可以用Java 或者Scala 来实现。开发人...
Flink基础教程Flink基础教程
最新发布
05-23
**Flink基础教程** Flink是Apache软件基金会下的一个开源流处理框架，它专注于实时数据流分析，同时支持批处理，提供低延迟、高吞吐量的数据处理能力。本教程将深入浅出地介绍Flink的基本概念、核心功能以及如何...
Flink学习资料.zip
07-16
Apache Flink是一个开源流处理框架，它在大数据领域扮演着重要的角色，特别是在实时数据处理方面。Flink设计的核心目标是高效、低延迟地处理无限数据流，并且支持批处理任务，实现了流批一体化。以下是对"Flkink学习...
flink学习教程，flink学习案例
05-15
1. **Flink基础**：了解Flink的核心概念，如DataStream API、批处理模型与流处理模型、事件时间和处理时间的概念。 2. **Flink架构**：掌握Flink的数据流模型，包括Source、Transformation、Sink，以及JobManager、...
Flink基础教程.rar
09-15
《Flink基础教程》 Apache Flink是一款开源的流处理和批处理框架，它在大数据实时处理领域扮演着重要角色。本教程旨在帮助初学者快速掌握Flink的基础知识，包括其核心概念、API使用以及常见应用场景。 一、Flink...
Flink学习笔记 一（flink入门）
wx740851326的博客
10-18 1024
1.我们通常将数据分成无界数据集和有界数据集。 在我们的生活当中，只要还在持续不断的产生或者变化，这样的数据集我们都说它是无界数据集。 2.我们通常将计算方式分成两种： 第一种是实时的，我们也称之为流式处理 第二种是离线的，我们也称之为批处理 这个两种计算方式在某种意义上是可以相互替代的，只是选择是否最佳的问题。 例如我们可以不停的调用批处理任务来处理流式的数据，也可以通过调整流处理的...
Flink学习
kevin_琪琪的博客
05-20 960
Flink 1.Flink 简介 1.Flink 是什么 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 2.Flink 的全球热度 3.Flink 目前在国内企业的应用 4.Flink
Flink的学习
weixin_48699240的博客
09-08 607
1.0 Flink的简介 Flink是什么 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. 快速灵巧 为什么选择Flink 流数据更真实地反映了我们的生活方式 传统的数据架构是基于有限数据集的(因为批处理数据更简单) 我们的目标是低延迟 高吞吐 结果的准确性和良好的容错性 lamb
Flink 学习（一）
weixin_30266829的博客
11-29 166
摘自Flink官网https://flink.apache.org/ 最近看到公司有Flink平台，正好做过storm和spark streaming上的业务，借着这个机会把flink也学了。正好比较下他们之间的优缺点。 一、流式处理平台 1.Storm Topology为处理拓扑图 组成： (1)Spout. 数据分发中心。 (2)Bolt. 数据处理中心 数据单元为T...
Flink 的学习笔记
weixin_45866849的博客
07-19 1221
​Flink诞生于欧洲的一个大数据研究项目StratoSphere。该项目是柏林工业大学的一个研究性项目。早期，Flink是做Batch计算的，但是在2014年，StratoSphere里面的核心成员孵化出Flink，同年将Flink捐赠Apache，并在后来成为Apache的顶级大数据项目，同时Flink计算的主流方向被定位为Streaming，即用六十计算来做所有大数据的计算，这就是Flink技术诞生的背景。...
Effective Apache Flink（一）Apache Flink 是什么?
哈喽天方方
09-02 369
Effective Apache Flink（一）Apache Flink 是什么? 目录 Effective Apache Flink（一）Apache Flink 是什么? 一、架构 处理无界和有界数据 部署应用到任意地方 运行任意规模应用 利用内存性能 二、应用 流处理应用的基本组件 流 状态 时间 分层 API ProcessFunction DataStre...
Flink学习-从入门到实践（1）
weixin_41688358的博客
08-28 282
一、基础概念： 批处理：持续收取数据，以时间作为划分多个批次的依据，再周期性地执行批次运算。（块状的划分） 不足：如果事件转换跨越了所定义的时间划分，传统批处理会将中介运算结果带到下一个批次进行计算；除此之外，当出现接收到的事件顺序颠倒情况下，传统批处理仍会将中介状态带到下一批次的运算结果中。 流处理：假设有一个无穷无尽的数据源在持续收取数据，以代码作为数据处理的基础逻辑，数据源的数据经过代码处理后产生出结果，然后输出。从流中接收到事件时，流处理应用程序对该事件作出反应：它可以触发动作，更新聚合或其他统计
Flink学习 | 基础介绍
Stack It Up
02-06 398
Spark 核心是批处理，尝试在批处理之上支持流计算，那么对于它来说，像Flink这样的实时计算，就会被看成一个个微小的批处理，因此对于Spark而言，并不是真正意义上的“流处理”，而是一个个“微批次”处理。【因为数据的传递有结束，因此可以等待数据全部传递完毕再进行处理，因此不需要严格保证数据的顺序，因为所有数据抵达后，总能按正确的顺序对数据进行排列。而Flink 的核心是流处理，因此它认为即使是批处理，也可以被统一为流处理。流处理：来一个处理一个，就像是流水线工作，它是即时处理的，是一个实时的处理；
Flink从入门到精通系列（一）
prefect_start的博客
03-09 2802
Flink概述、流式数据处理的发展是演变以及Flink的快速入门案例
打造基于Flink Table API的机器学习生态1
08-04
这表明Flink不仅限于基础的统计学习，而是有能力处理复杂的深度学习工作负载。 在数据处理阶段，Table API通过集成数据采集、处理和变换功能，使得机器学习开发者能够更方便地进行数据准备，这对于构建强大的机器...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值