Flink
关注
分享
扫一扫
文章平均质量分 94
Apache Flink 是一个在有界数据流和无界数据流上进行有状态计算分布式处理引擎和框架。Flink设计旨在所有常见的集群环境中运行，以任意规模和内存级速度执行计算。
CodeDevMaster
积跬步，至千里。
展开
-
Dinky之安装部署与基本使用
Dinky是一个开箱即用的一站式实时计算平台以Apache Flink为基础，连接OLAP和数据湖等众多框架致力于流批一体和湖仓一体的建设与实践。原创 2023-12-05 22:35:15 · 3114 阅读 · 2 评论 -
Flink之复杂事件处理CEP
FlinkCEP是在Flink之上实现的复杂事件处理（CEP）库。它允许我们检测无穷无尽的事件流中的事件模式，让我们有机会掌握数据中的重要内容。原创 2023-12-05 22:34:42 · 1057 阅读 · 1 评论 -
Flink之Catalog
Catalog是一种用于管理和组织元数据的抽象。Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。原创 2023-11-11 23:26:04 · 1867 阅读 · 2 评论 -
Flink之Table API & SQL连接器
Apache Flink的Table API 和 SQL 程序可以连接到其他外部系统，以读写批处理和流式表。原创 2023-11-11 20:52:30 · 528 阅读 · 1 评论 -
Flink之Java Table API的使用
Table API是批处理和流处理的统一的关系型API，查询不需要修改代码就可以采用批输入或流输入来运行，并且是针对Apache Flink专门设计的。原创 2023-11-11 20:34:43 · 1628 阅读 · 1 评论 -
Flink之SQL查询操作
Apache Flink提供了对流数据进行SQL查询的功能。Flink SQL查询语法遵循标准的SQL标准，同时还支持更复杂的查询、连接操作等，并且还可以与Flink的数据流处理功能无缝集成。原创 2023-11-10 15:07:51 · 789 阅读 · 0 评论 -
Flink之SQL客户端与DDL操作
Flink SQL是Flink框架中的一种查询语言，用于对数据流和批处理作业执行SQL查询和转换操作。它提供了一种声明性的方式来处理数据，使得开发人员能够使用熟悉的SQL语法来操作流式和批处理数据。原创 2023-11-10 14:38:39 · 958 阅读 · 0 评论 -
FlinK之检查点与保存点机制
在 Flink 中，检查点是用于实现状态一致性和故障恢复的关键机制。检查点功能可确保作业的状态在发生故障时能够进行可靠地恢复。原创 2023-11-08 20:11:12 · 1334 阅读 · 1 评论 -
Flink之状态管理
Flink中的状态管理是指在流处理任务中对数据的状态进行有效管理和维护的过程。状态管理是非常重要的，因为它允许我们在流式处理中维护和操作数据的状态信息，以实现复杂的计算逻辑和应用需求。原创 2023-11-08 20:10:22 · 1292 阅读 · 0 评论 -
Flink之输出算子Redis Sink
Redis具有其极高的写入读取性能，因此也是经常使用的Sink之一。可以使用Java Redis客户端Jedis手动实现，也可以使用Flink和Bahir提供的实现来实现。原创 2023-10-22 09:50:08 · 544 阅读 · 0 评论 -
Flink之常用处理函数
处理函数Processing Function是Apache Flink中用于对数据流上的元素进行处理的核心组件之一。处理函数负责定义数据流上的数据如何被处理，允许开发人员编写自定义逻辑以执行各种操作，如转换、聚合、筛选、连接等，并在处理后生成输出数据流。原创 2023-10-20 21:20:26 · 1470 阅读 · 0 评论 -
Flink之Watermark水印、水位线
在Apache Flink中，Watermark即水印、水位线，它是插入到数据流中的一个标记点，主要内容就是一个时间戳，用来指示当前事件时间。通过使用水位线机制，能够动态地处理乱序事件，并在保证准确性的同时提供低延迟的数据处理。原创 2023-10-19 19:33:28 · 1385 阅读 · 0 评论 -
Flink之Window窗口机制
在Apache Flink中，窗口是对无界数据流进行有界处理的机制。窗口可以将无限的数据流划分为有限的、可处理的块，使得可以基于这些有限的数据块执行聚合、计算和分析操作。原创 2023-10-19 19:32:06 · 1604 阅读 · 0 评论 -
Flink之输出算子Data Sink
在Apache Flink中，输出算子Data Sink用于将数据流发送到外部系统或存储介质中，如数据库、消息队列、文件系统等。输出算子是数据流处理的最后一步，它决定了数据的最终去向。原创 2023-10-20 11:39:02 · 650 阅读 · 0 评论 -
Flink之转换算子Transformation
Flink中的转换算子是指对输入数据流进行转换操作的一类算子，它是将一个或多个DataStream转换为新的DataStream原创 2023-10-16 16:36:01 · 646 阅读 · 0 评论 -
Flink之源算子Data Source
在Flink 中，源算子用于从外部系统或数据源获取数据，并将其作为输入流提供给Flink Job。源算子是数据流处理的起点，它通常是整个数据流的第一个算子。原创 2023-10-15 15:08:41 · 855 阅读 · 0 评论 -
Flink之Flink程序开发过程与Flink常见数据类型
DataStream API是Flink中最主要的API之一，它支持高级的流处理操作，例如窗口计算、状态管理、流分区等，并且在处理大规模数据时表现出色。原创 2023-10-13 22:27:13 · 1030 阅读 · 0 评论 -
Flink开发环境搭建与提交运行Flink应用程序
搭建Apache Flink开发环境搭，同时编写Flink应用程序，使用命令行方式与Web UI界面方式提交运行开发的Flink应用程序。原创 2023-10-10 21:32:05 · 527 阅读 · 0 评论 -
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。原创 2023-09-22 17:14:42 · 3876 阅读 · 3 评论 -
搭建Flink集群、集群HA高可用以及配置历史服务器
本文介绍了如何搭建一个Flink集群、Flink集群HA高可用，并配置历史服务器以记录Job任务执行的详细信息和状态。原创 2023-09-21 15:22:05 · 1986 阅读 · 0 评论