![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 83
墨子白
修学储能,先博后渊
展开
-
Flink对接Kafka的topic数据消费offset设置参数
在 Flink 的配置文件(如 flink-conf.yaml)中,,可以通过设置以下参数来配置。是 Flink 中用于设置消费 Kafka topic 数据的起始 offset 的配置参数之一。参数是用于 Flink 1.14 版本及以上。在更早的版本中,可以使用。参数来设置消费 Kafka 数据的起始 offset 模式。原创 2024-01-22 23:02:49 · 1786 阅读 · 0 评论 -
Flink 任务指标监控
Apache Flink 监控常用指标原创 2024-01-03 20:55:34 · 1550 阅读 · 0 评论 -
Flink—— Flink Data transformation(转换)
当使用 Flink 的apply方法时,将一个自定义的函数应用于流中的每个元素,并生成一个新的流。这个自定义的函数可以是等接口的实现。// 创建输入数据流DataStream<Type1> inputStream = ... // 从某个地方获取 Type1 类型的数据流// 使用 apply 方法应用自定义函数// 定义自定义的 MapFunction@Override// 执行转换操作OutputType transformedValue = ... // 对输入元素进行一些转换操作。原创 2023-11-09 23:21:16 · 782 阅读 · 0 评论 -
Flink—— Data Source 介绍
自定义数据源(Custom Data Source):除了上述内置的数据源外,Flink还支持自定义数据源。用户可以实现自己的SourceFunction接口来定义特定的数据生成逻辑,例如从消息队列、数据库、传感器等实时数据源中读取数据。@Override// 生成数据// 发射数据// 控制数据生成频率@Override// 实现自定义的数据生成逻辑在这个示例中,我们创建了一个名为的类,它继承自并指定了数据类型为String。在run方法中,我们使用一个循环来生成数据并通过。原创 2023-11-07 23:20:31 · 890 阅读 · 0 评论 -
Flink的API分层、架构与组件原理、并行度、任务执行计划
Apache Flink的API分为四个层次,每个层次都提供不同的抽象和功能,以满足不同场景下的数据处理需求。Flink API 最底层的抽象为有状态实时流处理。其抽象实现是Process Function,并且Process Function被 框架集成到了DataStream API中来为我们使用。它允许用户在应用程序中自由地处理来自单流或多流的事件(数据),并提供具有全局一致性和容错保障的状态。原创 2023-11-06 23:03:19 · 1534 阅读 · 2 评论 -
flink的起源、概念、特点、应用
Flink是一个开源的、可扩展的流处理和批处理框架,它提供了高性能、可靠的数据处理能力。它最初是作为一个研究项目开始的,旨在将实时流处理和批处理结合在一个统一的框架中。Flink的设计目标是提供低延迟、高吞吐量和Exactly-Once语义保证的数据处理能力。它通过使用分布式流处理、状态管理、事件时间处理和容错机制等技术来解决实时数据处理中的挑战。Flink采用了基于事件驱动的编程模型,它将数据流视为连续的事件流,并支持对这些事件进行转换、过滤、聚合和计算等操作。原创 2023-11-04 21:50:19 · 755 阅读 · 1 评论