![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 76
武子康
永远清澈,永远热情,永远好奇,无限进步!请记住,计算机所有内容都是人研究创造的,所以不存在任何的"黑魔法",别人会的只是你暂时不会,总有一天,你会都研究明白的。我知道这个过程会很难很难,可是只要你想做一些事情,又有哪一件不难呢?所以请你不要放弃!!!
展开
-
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
在之前章节中,已经验证过,(方便测试) 使用了 `Docker` 的方式进行部署。同时也利用容器编排工具`docker-compose`的方式,进行集群的模式部署:- `简单测试` 1 x JobManager + 1 x TaskManager- `集群模式` 1 x JobManager + 3 x TaskManager- `HA模式` 2 x JobManager + Zookeeper + 3 x TaskManager但是对于上述的 `docker-compose` 编排的方式。原创 2024-06-27 09:36:40 · 389 阅读 · 0 评论 -
Flink-11 Flink Java 3分钟上手 打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin
已经使用 `Dockerfile` + `docker-compose` 的方式启动了Flink的服务- 1个JobManager - 1个TaskManager。打包Flink 提交任务至服务器执行 JobSubmit Maven打包Ja配置 maven-shade-plugin。原创 2024-06-27 09:08:36 · 522 阅读 · 0 评论 -
Flink-10 Flink Java 3分钟上手 Docker容器化部署 JobManager TaskManager Kafka Redis Dockerfile docker-compose
容器部署,单节点Flink,多节点Flink,高可用Flink!在学习和测试阶段,需要快速启动一套`Flink`供我们学习测试。使用常规的安装的方式太费劲了,利用`Docker`可以快速启动一套`完整`的系统,方便我们的进行测试!这里放一些我平常常用的 `docker-compose` 的文件。供大家学习和测试!原创 2024-06-26 09:22:36 · 971 阅读 · 0 评论 -
Flink-09 Flink Java 3分钟上手 会话窗口 SessionWindow TimeWindow CountWindow GlobalWindow
Flink `会话窗口`(Session Window)是一种基于会话活动来`划分窗口`的机制。与`固定`时间窗口(Tumbling Window)和`滑动`窗口(Sliding Window)不同,`会话窗口不依赖固定的时间间隔`,而是根据数据的活跃度来动态地划分窗口。具体来说,当数据流中存在一定时间的间隔(即没有数据到达),`会话窗口`会根据这个`间隔结束`一个窗口,并在`新的数据`到来时`开始`一个`新的窗口`。原创 2024-06-26 08:54:13 · 515 阅读 · 0 评论 -
Flink-08 Flink Java 3分钟上手 滑动窗口 SlidingWindow 时间驱动 事件驱动 TimeWindow CountWindow GlobalWindow
Flink 的滑动窗口(Sliding Window)是一种在流处理应用中使用的窗口类型,用于对连续流数据进行分割和处理。滑动窗口相对于滚动窗口(Tumbling Window)来说更灵活,因为它允许窗口在时间上重叠,从而可以更加精细地分析流数据。滑动窗口按照固定的时间间隔(滑动步长)在数据流上滑动,并生成多个窗口。这些窗口可以重叠,因此每条数据可能会被分配到多个窗口中。每个窗口都会独立地进行计算和聚合操作。0 5 10 15 20 25 30 35 40 45 50 55 60 (时间轴)原创 2024-06-25 09:29:07 · 348 阅读 · 0 评论 -
Flink-07 Flink Java 3分钟上手 滚动窗口 事件驱动 Kafka TumblingWindow GlobalWindow CountWindow
滚动窗口:1时间驱动 2事件驱动。滚动窗口将数据流按照固定的时间间隔进行分割,每个时间间隔形成一个独立的窗口。滚动窗口的特点是窗口之间不重叠,每个元素只属于一个窗口。原创 2024-06-25 09:15:38 · 392 阅读 · 0 评论 -
Flink-06 Flink Java 3分钟上手 滚动窗口 时间驱动 Kafka TumblingWindow TimeWindowFunction TumblingProcessing
滚动窗口将数据流按照固定的时间间隔进行分割,每个时间间隔形成一个独立的窗口。滚动窗口的特点是窗口之间不重叠,每个元素只属于一个窗口。Flink-06 Flink Java 3分钟上手 滚动窗口 时间驱动 Kafka TumblingWindow TimeWindowFunction TumblingProcessing原创 2024-06-24 09:44:51 · 581 阅读 · 0 评论 -
Flink-05 Flink Java 3分钟上手 Redis FlinkJedisPoolConfig 从Kafka写入Redis FlinkKafkaConsumer消费 结果写入Redis
上节我们已经实现了,对Kafka数据的消费和计算,最终把结果输出到了控制台上。Flink-05 Flink Java 3分钟上手 Redis FlinkJedisPoolConfig 从Kafka写入Redis FlinkKafkaConsumer消费 结果写入Redis原创 2024-06-24 08:59:02 · 681 阅读 · 0 评论 -
Flink-04 Flink Java 3分钟上手 FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource
FlinkKafkaConsumer消费Kafka数据 进行计算SingleOutputStreamOperatorDataStreamSource。Apache Flink 进行实时数据处理,从 Kafka 消费数据并进行单词计数。会同步代码到 GitHub。原创 2024-06-23 09:37:33 · 422 阅读 · 0 评论 -
Flink-03 Flink Java 3分钟上手 Stream 给 Flink-02 DataStreamSource Socket写一个测试的工具!
上一节中,我们需要使用 `nc` 或者 `telnet` 等工具来模拟 `Socket` 流。这节我们写一个 `ServerSocket` 来模拟这些 操作,让流自动的写入不用我们手动去操作了。Flink-03 Flink Java 3分钟上手 Stream 给 Flink-02 DataStreamSource Socket写一个测试的工具!原创 2024-06-23 09:26:59 · 307 阅读 · 0 评论 -
Flink-02 Flink Java 3分钟上手 Stream SingleOutputStreamOpe ExecutionEnvironment DataSet FlatMapFunction
https://github.com/turbo-duck/flink-demo接着上一节的内容https://blog.csdn.net/w776341482/article/details/139873938编写代码 定义变量 获取环境 Socket流 FlatMap Stream 完整代码 启动服务启动一个服务,等会儿用作给 Flink 服务发送数据。Win平台 运行效果启动Flink服务,在刚才启动的Shell控制台中,快速的输入一些数字并回车。观原创 2024-06-22 10:00:17 · 340 阅读 · 0 评论 -
Flink-01 介绍Flink Java 3分钟上手 HelloWorld 和 Stream ExecutionEnvironment DataSet FlatMapFunction
Apache Flink 是一个开源的流处理框架,旨在处理批处理和实时数据处理,具有高吞吐量和低延迟的特点。由 Apache 软件基金会开发,Flink 以其强大的流分析、复杂事件处理和数据驱动应用而闻名。原创 2024-06-22 09:23:42 · 993 阅读 · 0 评论