Apache Flink
文章平均质量分 95
冰点.
《Redis从入门到精通2023版》作者-
日拱一卒无有尽,功不唐捐终入海。路漫漫其修远兮。吾将上下而求索
展开
-
【Apache Flink】Flink DataStream API的基本使用
Flink DataStream API主要用于处理无界和有界数据流。无界数据流是一个持续生成数据的数据源,它没有明确的结束点,例如实时的交易数据或传感器数据。这种类型的数据流需要使用Apache Flink的实时处理功能来连续地处理和分析。有界数据流是一个具有明确开始和结束点的数据集,例如一个文件或数据库表。这种类型的数据流通常在批处理场景中使用,其中所有数据都已经可用,并可以一次性处理。Flink的DataStream API提供了一套丰富的操作符,如等,以支持各种复杂的数据处理和分析需求。原创 2023-10-31 11:23:45 · 889 阅读 · 0 评论 -
【Apache Flink】流式分析的多种应用场景
Apache Flink 功能强大,支持开发和运行多种不同种类的应用程序。它的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等。Flink 不仅可以运行在包括 YARN、 Mesos、Kubernetes 在内的多种资源管理框架上,还支持在裸机集群上独立部署。在启用高可用选项的情况下,它不存在单点失效问题。事实证明,Flink 已经可以扩展到数千核心,其状态可以达到 TB 级别,且仍能保持高吞吐、低延迟的特性。世界各地有很多要求严苛的流处理应用都运行在 Flink 之上。原创 2023-10-29 10:00:00 · 453 阅读 · 0 评论 -
【Apache Flink】基于时间和窗口的算子-配置时间特性
Apache Flink 它提供了多种类型的时间和窗口概念,使得用户能够进行准确的时间计算。在数据处理任务中,时间的概念是非常重要的,对于一些复杂的实时流处理任务,如事件按时间顺序的聚合、分割和窗口计算,时间更是关键所在。而在这类任务中,选择使用何种时间特性是决定结果准确性的非常重要的一部分。Flink提供了三种时间特性供用户选择:事件时间、处理时间和摄取时间。在使用Flink进行流处理时,时间窗口的选择也至关重要。原创 2023-10-28 14:00:00 · 1247 阅读 · 0 评论 -
【Apache Flink】实现有状态函数
需要在处理函数中定义一个或多个算子状态。可以指定算子状态的名字,并定义它存储的数据类型。原创 2023-10-28 09:14:59 · 1046 阅读 · 0 评论