flink_大数据博客-专业IT技术发表平台

推荐付费专栏 VIP文章

学亮编程手记

Flink CDC案例：MySQL到Doris实时整库同步（提交flink job jar方式）本示例是借助插件实现通过 Flink 同步mysql数据（读取、插入、修改、删除）到Doris 中存储。最佳实践：使用 Flink Doris Connector 最适合的场景就是实时/批次同步源数据（Mysql，Oracle，PostgreSQL 等）到 Doris，使用 Flink 对 Doris 中的数据和其他数据源进行联合分析，这里介绍Mysql到doris的数据接入方式。

阅读 2.7k

24赞

小码农叔叔

【大数据】Flink + Kafka 实现通用流式数据处理详解 Flink + Kafka 实现通用流式数据处理详解

阅读 1.7w

137赞

逆风飞翔的小叔

【微服务】springboot3 集成 Flink CDC 1.17 实现mysql数据同步 springboot3 集成 Flink CDC 1.17 实现mysql数据同步

阅读 1.5w

73赞

Flink 作业提交流程阶段描述1. 客户端构建将用户代码转换为 StreamGraph → JobGraph2. 提交作业Client 提交到 JobManager3. 资源调度ResourceManager 分配 TaskManager Slot4. 任务执行TaskManager 启动 Subtask 并执行逻辑5. 状态管理Checkpointing 保障状态一致性6. 故障恢复重启失败任务并从 Checkpoint 恢复。

阅读 838

8赞

flink车联网项目前篇：业务实现1（第67天）本文为flink车联网项目：业务实现1，后续章节为：维表开发

阅读 3.8k

68赞

不正经小新

Flink窗口理论到实践 | 大数据技术 ⭐⭐个人主页🔎哆啦A梦撩代码🎉欢迎关注🔎👍⭐️留言📝

阅读 1.1w

69赞

一文吃透Flink：大数据处理的神兵利器 Flink 是一个开源的分布式流处理框架，由 Apache 软件基金会开发，使用 Java 和 Scala 编写。它的核心是一个分布式流数据引擎，能够以数据并行和流水线方式执行任意流数据程序。Flink 的设计目标是提供高吞吐量、低延迟的流数据处理能力，同时支持对有界和无界数据流进行有状态的计算。这里的有界数据流，就像是一个装满数据的固定大小的箱子，数据量是有限的，处理完这些数据任务就结束了，比如我们处理一份固定的历史订单数据报表。

阅读 816

19赞

Spring Boot 整合 Apache Flink 教程通过以上步骤，即可实现Spring Boot与Apache Flink的深度整合。这种架构特别适合需要将实时流处理能力嵌入微服务体系的场景，如实时风控系统、IoT数据处理平台等。Apache Flink 是一个高性能的分布式流处理框架，而Spring Boot提供了快速构建企业级应用的能力。：通过Micrometer接入Spring Boot Actuator。：集成Flink State Backend（如RocksDB）：将打包后的jar提交到Flink集群。

阅读 1.6k

30赞

小马不敲代码

SpringBoot整合Kafka、Flink实现流式处理 SpringBoot整合Kafka、Flink实现流式处理

阅读 1.3k

14赞

Flink实战教程从入门到精通（基础篇）（二）Flink快速上手对 Flink有了基本的了解后，接下来就要理论联系实际，真正上手写代码了。Flink底层是以Java编写的，并为开发人员同时提供了完整的Java和ScalaAPI。在本书中，代码示例将全部用Java 实现;而在具体项目应用中，可以根据需要选择合适语言的API进行开发。在这一章，我们将会以大家最熟悉的 IntelliJIDEA 作为开发工具，用实际项目中最常见的Maven 作为包管理工具，在开发环境中编写一个简单的 Flink项目，实现零基础快速上手。对于批处理和流处理输出的结果，可以发现。

阅读 1.6k

28赞

俊哥大数据

【亲测有效】Flink1.20分布式集群搭建-最新版本手把手搭建最新版本的Flink1.20分布式集群，包含Standalone和YARN两种运行模式的集群搭建，并通过案例进行会话模式和应用模式的实际操作。

阅读 2.4k

20赞

Seal^_^【送书活动第2期】——《Flink入门与实战》 Seal^_^【送书活动第2期】——《Flink入门与实战》

阅读 7.7k

101赞

Java 第一深情

零基础入门Flink，掌握基本使用方法首先来讲，Flink是一个面向数据和的分布式开源计算框架。那么，流处理和批处理分别处理什么样的数据呢，这就涉及两个概念-任何类型的数据都可以形成，比如用户交互记录，传感器数据，事件日志等等。Apache Flink 擅长处理无界和有界数据集。精确的时间控制和有状态的计算，使得 Flink能够运行任何处理流数据分为无界流和有界流。

阅读 2.0k

7赞

揭秘实时电商商品推荐系统：Flink + Kafka 开启购物新征程传统购物方式面临信息过载和搜索效率低下的问题，消费者在海量商品中难以快速找到符合需求的商品。实时电商商品推荐系统通过个性化推荐，解决了这一困境。该系统利用Flink + Kafka技术架构，实时处理消费者行为数据，提供精准的商品推荐，提升购物体验和满意度。其优势包括节省时间、提高用户粘性、挖掘潜在需求等。应用场景涵盖首页推荐、搜索结果推荐、商品详情页推荐和购物车推荐。尽管面临数据实时性、质量和算法复杂度的挑战，但随着人工智能和大数据技术的发展，实时推荐系统将更加智能化和精准化，为电商行业带来更优质的购物体验

阅读 2.3k

67赞

闫哥大数据

2025最新版flink2.0.0安装教程（保姆级） Flink支持多种安装模式。

阅读 1.3k

21赞

Flink SQL填坑记2：Flink和MySQL的Bigdata类型不同导致ClassCastException报错最近在开发Flink SQL的时候，需要关联Kafka事实表和MySQL维表，得到的数据写入Phoenix表中，但是其中有个字段，Kafka表、MySQL表和Phoenix表都是BigData类型，但是在实现的时候却报“java.math.BigInteger cannot be cast to java.lang.Long”异常，从报错信息来看，是由于BigInteger 和Long的转换出现问题，下面详细讲解一下报错过程。

阅读 1.2k

6赞

AI天才研究院

深入了解大数据领域Flink的时间语义在流处理场景中，数据的“时间”属性直接影响计算结果的业务意义。例如，电商平台统计“双11当天20:00-20:30的订单量”时，若仅依赖系统处理时间（如服务器时钟），可能因网络延迟或计算节点负载不均导致统计偏差。三种时间类型（事件时间、处理时间、摄入时间）的定义与适用场景水位线（Watermark）的生成、传播与延迟处理机制时间语义与窗口计算的协同工作原理工程实践中的常见问题与调优策略核心概念：明确三种时间类型的定义与差异算法原理：深入解析水位线的数学模型与传播机制。

阅读 925

16赞

网络安全-杰克

Flink流处理与网络安全 Apache Flink是一个流处理框架，用于处理大规模数据流。Flink可以处理实时数据流和批处理数据，并提供了一种高效、可扩展的方法来处理大数据。Flink流处理技术在网络安全领域具有重要的应用价值，可以帮助企业更好地监控、检测和防御网络安全威胁。本文通过深入探讨Flink流处理技术及其在网络安全领域的应用，帮助读者更好地理解Flink流处理技术及其在网络安全领域的应用，并为读者提供一些实际操作的经验和见解。

阅读 904

13赞

[实战-12] flinkSql 时间属性在阅读下面知识之前，读者需要先看Flinksql设置时区。

阅读 1.3k

12赞

flink-cdc实时抽数（flink1.18）基于flink1.18集群，实现毫秒级实时数据抽取，由Oracle或MySQL关系型数据库，将数据同步到doris数据仓库。建立基于doris的实时数据仓库。主要使用flink顶层的tableApi，SqlApi，使用简单，易于上手，基本通过flink-sql解决所有问题。

阅读 2.1k

30赞

作者推荐

卡林神不是猫: 一枚大数据小学徒，正在大数据学习之路上摸索前行……

关注

Direction_Wind: 一个普通的程序员，希望能够在大数据领域有一定建树

关注

杨林伟: 像火箭科学家一样思考！

关注

fzip: 运营商行业，大数据集群一线运维工程师

关注

后季暖: BigData developer、Algorithm amateur

关注

猫猫爱吃小鱼粮: 大数据开发爱好者。

关注

让线程再跑一会: 罗马不是一天建成的…

关注

州周: 要成为很酷的人。：CallMeFlink

关注

roman_日积跬步-终至千里: 做三四月的事，在八九月自有答案。

关注

sf_www: 深耕大数据领域，可相互交流

关注