- 博客(859)
- 收藏
- 关注
RSS订阅
原创 【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里
本文大致分析了flink sql执行过程中的各个阶段的源码逻辑，这样可以在flink sql执行过程中， 能够定位到任务执行的某个阶段的代码大概分布在哪里，为更针对性的分析此阶段的细节逻辑打下基础，比如create 的逻辑是怎么执行的，select的逻辑是怎么生成的，优化逻辑都做了哪些，而这些是接下来的文章要分析的。
2023-12-13 23:20:18
2716
1
原创 【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优探索
【性能调优】【离线任务】flink处理离线任务（8000个小文件？200多亿数据量？）稳定性与性能调优
2023-01-09 23:43:41
2363
原创 【性能|优化】TB级flink任务报错分析：Could not compute the container Resource
【性能|优化】TB级flink任务报错分析：Could not compute the container Resource
2022-11-29 00:29:17
2248
2
原创 【修改源码】hadoop 3.3.1 failed with status code 401 Response message: Authentication required
本文主要通过修改源码解决hadoop内部通讯鉴权的问题。
2022-09-19 16:00:07
1973
4
原创 【运维/安装】Flink + MinIO：实现light-weighting思路下的集群(集群、高可用&&POC、快速搭建)
本文通过使用flink+MinIO安装实现flink standalone的集群模式，实现“轻量化集群”flink集群本身作为计算资源，去执行flink jobMinio 用于存储Flink job产生checkpoint和savepoint、以及存储flink HA的一些信息，也就是作为分布式存储系统。
2022-09-14 21:23:55
6673
19
原创 【分析思路】hadoop 3.3.1 bug修复：failed with status code 401 Response message: Authentication required
为了支持国产化，hadoop需要安装3.3.1版本，而客户这边需要安全认证，所以对于hadoop需要做的事是升级到3.3.1版本、支持HA模式、安全认证。本文关注hadoop升级过程、启动中出现的401权限问题。
2022-09-05 21:37:18
1731
原创 【AI Engineering】Loop Engineering初探：在不确定性中构造确定性的工程方法
【AI Engineering】Loop Engineering初探：在不确定性中构造确定性的工程方法
2026-06-12 22:58:21
215
原创 【AI Engineering】不同场景下的 SDD 最佳实践：分层风控+分级落地，约束AI编程边界
【SDD】高风险场景下的 SDD 最佳实践：分层风控+分级落地，约束AI编程边界
2026-06-02 20:12:40
189
原创 【AI Engineering】项目学习新姿势：把知识管理、PRD 和 Spec 串起来
项目学习新姿势：把知识管理、PRD 和 Spec 串起来
2026-05-07 20:04:21
435
原创 Hive JDBC vs MySQL JDBC：**“服务端推完就跑，客户端慢慢吃”**详解
Hive JDBC vs MySQL JDBC：**“服务端推完就跑，客户端慢慢吃”**详解
2026-05-07 15:46:56
198
原创 【AI Engineering】产品需求和 Spec 如何配合：从 PRD 到 OpenSpec 的完整方法
产品需求和 Spec 如何配合：从 PRD 到 OpenSpec 的完整方法
2026-05-07 09:41:41
701
原创 拆解但不失全貌：如何在 OpenSpec 中管理复杂 Agent 需求的演进
拆解但不失全貌：如何在 OpenSpec 中管理复杂 Agent 需求的演进
2026-05-06 18:09:21
235
flink on yarn 模式下，flink 1.12.5版本运行所需完整lib包
2022-08-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人