m0_66705151的博客

原创 【Kafka】Kafka如何开启sasl认证？

通过以上步骤，即可完成Kafka的SASL_PLAINTEXT配置，实现基于用户名+密码的身份验证。如需更高的安全性，建议升级到。（基于SASL/PLAIN机制的非加密认证），需分别完成。，与Broker建立连接。传输数据（仅适用于内网或信任网络）。（生产者/消费者）的配置，以下是。SASL_PLAINTEXT是。客户端（生产者/消费者）需指定。修改Broker的启动脚本（（参考Kafka官方文档）。（Kafka集群）和。

原创 【Flink】Flink Runtime 开发指南

原创 【Flink】Flink Runtime 架构设计

【代码】【Flink】Flink Runtime 架构设计。

原创 【Flink】Flink核心源码Runtime模块的关键代码分析

Flink Runtime 是 Apache Flink 的核心运行时模块，负责执行流处理和批处理作业。它包含了作业执行、资源管理、任务调度、状态管理、容错机制等核心功能。

原创 【Flink】Flink 2.1 版本代码编译与本地调试环境初始化

​Scala 2.12.7​：与 Flink 2.1 兼容Git​：用于拉取源码（可选 IDEA 直接导入）1.2 ​源码获取​二、源码编译2.1 ​Maven 编译命令​跳过测试以加速编译，避免 MapR 依赖问题：​关键参数说明​：经查看源码发现，flink/pom.xml中，设置了source.java.version=11, target.java.version=17 。这是因为flink 2.1默认支持java 11版本，但在开发过程中会试探性地使用java 17的新特征。为了

原创 【数仓与数据治理】一致性维度与主数据管理的关系

方法论上：MDM提供企业级治理框架，一致性维度是其在分析领域的具体实践技术上：MDM系统是黄金数据源，一致性维度是消费方价值上：共同消除数据孤岛，提升数据可信度战略层面：将MDM与数据仓库项目统一规划，成立联合团队战术层面：优先实施客户、产品、时间等核心一致性维度技术层面：选择支持双向同步的MDM和数据仓库平台治理层面：建立包含两者的数据质量监控体系只有将主数据管理与一致性维度有机结合，电商企业才能真正实现"一处定义，处处一致"的数据治理目标，为数字化转型奠定坚实基础。

原创 【Kafka】Kafka 4.0 Kraft集群搭建

Kafka在2.8版本开始引入kraft架构，用于测试预览。在3.3版本，kraft可以稳定可用。在4.0版本默认只支持kraft，完全去掉了zookeeper的依赖。在kraft架构中，kafka拆分了两种角色，一种是broker，也就是传统的kafka server，另一种是controller，这是一个新角色，其功能是取代zookeeper，由controller来实现集群管理与协调。Kraft的引入使kafka可支持的分区数从十万级提升至百万级，集群故障恢复从分钟级提升为秒级。

原创 【Kafka】Kafka架构演进：zookeeper的移除与Kraft引入

迁移路径新集群直接使用Kafka 4.0+的KRaft模式存量集群从3.3.0开始逐步过渡，需备份数据并测试兼容性行业趋势：Kafka社区已明确将ZooKeeper作为“过渡组件”，未来全面转向无依赖架构。

原创 Flink作业unaligned checkpoint导致streampark运行卡顿问题定位

生产环境使用streampark部署flink作业，一天突然发现steampark运行响应非常缓慢，登陆、查询作业、部署作业都非常卡。检查streampark JVM运行未发现异常，怀疑steampark查询mysql过慢导致响应过慢。尝试加大streampark查mysql的并发，问题有所缓慢但未根除。后经调查发现，mysql中streampark的t_flink_savepoint表大小增加，表记录数从千级爆涨到百万级。

原创 【FlinkCDC】FlinkCdc使用Q&A - 持续更新中

文章记录Flink CDC使用过程中的常见问题，以供开发者参考。内容持续更新中。

原创 【Kafka】Kafka运行指标与prometheus+grafana集成

一篇文章教会你怎么采集kafka指标到prometheus+grafana，并完成可视化配置。

原创 【Flink】Flink运行指标接入Prometheus+Granfana

手把手教你导出flink运行指标，完成prometheus+grafana监控集成。

原创 【FlinkCdc】Flink MysqlCdc连接数据库失败，SSLHandshakeException怎么破？

Flink MysqlCdc连接数据库失败，报SSLHandshakeException，应该怎么破？

原创 【Starrocks】starrocks查询bug：count(distinct)影响count(1)计算结果

报告一个Starrocks基础的执行引擎查询bug及其临时解决方案

原创 Kafka如何配置内外网多ip访问

Kafka如何配置内外网多ip访问

原创 FlinkCDAS同步starrrocks，varchar超长导致数据同步失败

使用FlinkCDAS同步mysql数据到starrocks，报org.apache.flink.table.api.TableException: Failed to deserialize the input record，究竟是怎么回事？

原创 【数据湖hudi应用】hudi同步NoSuchMethodError（Types$PrimitiveBuilder.as）修复

一篇文章告诉你hudi同步数据出现NoSuchMethodError（Types$PrimitiveBuilder.as）怎样修复

原创 【Hudi数据湖应用】Flink作业同名类强转异常ClassCastException修复

运行flink作业时，出现同名类强转异常ClassCastException，这到底是怎么回事呢？应该怎么解决？阅读这篇文章，我们一起寻找答案。

原创 【Hudi数据湖应用】hudi 0.11编译异常之HoodieParquetDataBlock找不到合适的ByteArrayOutputStream构造器

一篇文章告诉你如何修复Hudi0.11编译：HoodieParquetDataBlock找不到合适的ByteArrayOutputStream构造器。

原创 【Hudi数据湖应用】手把手带你应用hudi的hive sync tool与避坑

一篇文章教会你如何使用hudi的hive sync tool及如何避免已知的hive sync tool的坑。

原创 【Java基础】Idea启动Spring boot失败之Could not resolve placeholder解决全攻略

Spring boot项目一般会使用大量注解来注入配置，当注解解析失败无疑会直接影响项目启动。出现这种情况时应该怎么办呢？一篇文章解答所有注解注入失败的所有情况！

原创 【Hudi数据湖应用】Hudi-Spark-Bundle NoSuchMethodError(SessionHandler.setHttpOnly)异常修复

最近尝试在sparksql上对hudi表进行insert数据，会报java.lang.NoSuchMethodError: org.apache.hudi.org.apache.jetty.server.session.SessionHandler.setHttpOnly(Z)V异常。如果只是进行简单的create table, 然后进行select查询是没有问题的。但如果是create table test_cow using hudi as select * from source_cw这样的语句，由

原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略七：FlinkSQL常用命令

一篇文章记录FlinkSQL常用命令。

原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略六：极限压测下炸出来的FlinkCDC-Hudi坑，真多

一篇文章告诉你，使用FlinkCDC写入Hudi完成数据入湖会遇到什么坑。

原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略五：FlinkSQL同时输出到kafka与hudi的几种实现

一文告诉你如何在FlinkSQL中实现一个作业多路输出。

原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略四：两种FlinkSql kafka connector的特征与应用

一篇文章带你全面了解FlinkSql中两种kafka connector，掌握其应用特征与适用场景，轻松应于生产服务与数据入湖。

原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略三：探索实现FlinkCDC mysql 主从库同步高可用

在生产环境中，mysql一般会配备主从库，以实现数据备份、服务容灾、读写分离等需要。使用FlinkCdc进行mysql数据入湖时，就不可避免地要和主从库打交道。FlinkCDC对mysql主从库的切换支撑到什么程度、数据库需要怎么配置、同步程序要怎么配合操作和开发，是FlinkCDC投入生产应用前必验项目。本文记录了使用FlinkCDC进行Mysql主从数据同步的主要验证过程，以为后鉴。

原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案

在Hudi与Spark整合的过程中，会有不少坑。本文记录Hudi与Spark整合过程中发现的坑点及其解决方案。

原创 FlinkCDC-Hudi:Mysql数据实时入湖全攻略一：初试风云

一、背景FlinkCDC是基于Flink开发的变化数据获取组件（Change data capture），目前支持mysql、PostgreSQL、mongoDB、TiDB、Oracle等数据库的同步。Hudi是一个流式数据湖平台，使用Hudi可以直接打通数据库与数据仓库，Hudi可以连通Hadoop、hive，支持对数据record粒度的增删改查。Hudi支持同步数据入库，提供了事务保证、索引优化，是打造实时数仓、实时湖仓一体的新一代技术。本文尝试使用FlinkCDC同步Mysql数据，通

原创 程序包不存在，找不到符号，但实际“存在”

maven编译找不到包，换不到符号