![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink学习过程
文章平均质量分 73
flink从入门到放弃
不加班程序员
小白一枚
展开
-
flink消费kafka时获取元数据信息
flink消费kafka信息获取数据的元数据原创 2024-06-13 15:07:57 · 456 阅读 · 1 评论 -
flink-操作redis
redis中存储了部分域名与ip的对应关系数据,由于网络或者其他原因,会导致域名的ip地址为8.8.8.8,所以需要将这部分数据更新,现用flink进行相关操作。原创 2024-01-29 10:40:49 · 723 阅读 · 0 评论 -
Flink之时间和窗口
在事件时间语义下,我们不依赖系统时间,而是基于数据自带的时间戳去定义了一个时钟,用来表示当前时间的进展。于是每个并行子任务都会有一个自己的逻辑时钟,它的前进是靠数据的时间戳来驱动的。 我们可以把时钟也以数据的形式传递出去,告诉下游任务当前时间的进展;而且这个时钟的传递不会因为窗口聚合之类的运算而停滞。一种简单的想法是,在数据流中加入一个时钟标记,记录当前的事件时间;这个标记可以直接广播到下游,当下游任务收到这个标记,就可以更新自己的时钟了。原创 2023-04-07 14:50:00 · 955 阅读 · 0 评论 -
Flink之教程
本教程介绍了Flink的基本概念、架构、数据处理模式和常用API,并提供了详细的案例和图片。Flink是一个强大的流处理引擎,可以用于处理实时数据和批量数据,具有高性能和可扩展性。原创 2023-03-17 17:10:43 · 729 阅读 · 0 评论 -
Flink之Sink
Flink 的 DataStream API 专门提供了向外部写入数据的方法:addSink。与 addSource 类似,addSink 方法对应着一个“Sink”算子,主要就是用来实现与外部系统连接、并将数据提交写入的;Flink 程序中所有对外的输出操作,一般都是利用 Sink 算子完成的。原创 2023-03-16 11:48:29 · 1690 阅读 · 0 评论 -
Flink之Transformation
Flink常见的转换算子说明,如map、filter、flatmap、reduce、keyby等原创 2023-03-14 16:48:44 · 619 阅读 · 0 评论 -
Flink之Source
Flink 可以从各种来源获取数据,然后构建 DataStream 进行转换处理。一般将数据的输入来源称为数据源,而读取数据的算子就是源算子(Source)。所以,Source 就是我们整个处理程序的输入端。原创 2023-03-10 17:59:06 · 1114 阅读 · 0 评论 -
Flink相关介绍
Flink的定位是:Apache Flink是一个框架和分布式处理引擎,如图所示,用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境运行,以内存执行速度和任意规模来执行计算。Flink 框架处理流程。原创 2023-03-08 15:43:32 · 601 阅读 · 0 评论