- 博客(144)
- 收藏
- 关注
RSS订阅
原创 告别数据重复与丢失：Flink Exactly-Once 原理解析
在流式计算领域，“如何保证数据不丢不重”一直是技术攻坚的核心难题。本文将从背景动机出发，深入剖析 Flink exactly-once 的核心原理、Checkpoint Barrier 对齐机制、端到端 exactly-once 的实现路径。
2026-05-31 23:39:22
783
原创 Flink技术实践-90%都会踩的状态坑
Flink状态管理是有状态计算的核心，但80%的线上故障与其相关。本文从状态管理的本质出发，系统拆解Flink状态管理的核心机制，汇总生产环境中最常见的五大坑点，提供可落地的调优方案，并对实时场景下状态管理的演进方向进行展望。
2026-04-06 23:38:07
1404
原创 每天认识一个组件：Apache Flink
Flink 的核心价值不只是“实时”，而是把持续数据流、事件时间、业务状态和一致恢复放入同一个分布式运行时中。对于实时指标、持续 ETL、CDC、欺诈检测和事件驱动应用，它提供了一套比“消息队列加手工状态管理”更完整的计算模型。
2026-11-04 23:00:00
476
原创 每天认识一个组件：Apache Pulsar
Apache Pulsar 的核心价值在于：它不是把消息系统简单做大，而是以分层架构、多租户模型和跨集群能力，把消息、事件流、实时管道和数据平台治理放在同一个系统框架下。Pulsar 更适合有平台化诉求的团队：多业务共享、实时数据流、跨地域容灾、海量 Topic、长期留存、轻量流处理和连接器生态。
2026-11-02 22:45:00
569
原创 从 Prompt 到 Tool Calling：AI Agent 如何稳定连接程序世界
大语言模型原生能力是生成 Token，而软件系统要求类型、权限、状态和确定的执行结果。AI Agent 要连接数据库、搜索引擎、支付系统或企业 API，中间必须建立一层可验证的交互协议。
2026-11-01 23:09:21
165
原创 每天认识一个组件：Apache Iceberg
Iceberg 的价值不应只用“支持 ACID”概括，更重要的是，它把数据湖中的文件管理提升为稳定的表级协议，使计算引擎不再依赖目录结构猜测表状态，让 Schema、分区和文件布局能够独立演进。
2026-11-01 11:46:16
497
原创 每天认识一个组件：ClickHouse
ClickHouse 的核心价值，是把列式存储、向量化执行、MergeTree、稀疏索引和分布式查询组合成一个面向实时分析的高性能数据库。它特别适合大规模追加型数据上的聚合、过滤和多维分析，也非常适合作为数据平台中的实时 OLAP 服务层。
2026-10-29 20:48:16
449
原创 Agent Loop 深度解析：理解、规划、行动、观察与纠错
Agent 的最小核心可以表示为：理解目标->决定下一步->作用于环境->读取真实结果->更新状态并修正->满足条件后结束。模型提供语言理解和行动决策能力，Runtime 提供状态、执行、权限、恢复和终止控制，工具把模型连接到外部环境。
2026-10-28 22:00:00
448
原创 每天认识一个组件：JanusGraph
JanusGraph 通过“图数据库引擎 + 分布式存储 + 外部搜索索引”的架构，把属性图查询能力接入成熟的大数据基础设施。它的优势集中在海量关系数据、多跳遍历、水平扩展和后端可插拔；代价则是部署链路长、Schema 与索引设计要求高，而且事务一致性会受到存储后端约束。
2026-10-26 22:15:00
130
原创 别急着上 Agent：一文厘清AI Agent 的边界
Agent 的工程价值不在于让系统显得更智能，而在于处理那些无法完全写成固定流程、却能通过环境反馈逐步逼近目标的任务。下一阶段的技术重点也不应只是更强的自主规划，而是让这种自主性具备可观测、可评测、可授权、可中止和可恢复的工程边界。
2026-10-23 22:30:00
552
原创 每天认识一个组件：Elasticsearch
Elasticsearch 的核心价值在于把 Lucene 的搜索能力、分布式系统能力和工程生态整合到一起，让开发者可以用统一的 API 处理全文检索、日志分析、聚合统计、地理空间查询和向量检索。
2026-10-20 22:15:00
692
原创 从 Kafka 到 Flink，如何让实时数仓既快、又准、还可追
实时数据治理的本质，是把实时链路从“能跑、能算、能出数”提升为“可解释、可恢复、可追溯、可对账”。实时数仓不是越快越好，而是在可解释的前提下尽可能快；实时治理的价值，就是让“快”不牺牲“准”，让“准”也能够被追溯。
2026-10-18 21:45:00
515
原创 数据开发与任务治理：从表治理走向链路治理
大数据数据治理不能停留在“表治理”。表是生产结果，链路才是生产过程。真正稳定的数据平台，需要把治理前移到开发阶段，把规范、扫描、命名、依赖、调度、队列、重试和 SLA 纳入同一套工程控制体系。
2026-10-18 11:35:23
324
原创 每天认识一个组件：Apache HBase
HBase 的价值来自一个清晰的工程取舍：放弃部分关系数据库能力，换取在 Hadoop/HDFS 之上的海量稀疏表存储、严格一致随机读写和水平扩展能力；HBase 适合“大规模、Key-Value/宽表、强一致、随机读写、可水平扩展”的场景。
2026-10-17 18:33:23
204
原创 每天认识一个组件：Spark Catalyst
Catalyst 是 Spark SQL 能够从“分布式计算框架”走向“分布式 SQL 引擎”的关键组件。它把 SQL、DataFrame、Dataset 转化为统一的计划树，再通过规则优化、代价估计、物理计划选择和运行时代码生成，让 Spark 在执行前尽量少读数据、少传数据、少做无效计算。
2026-10-15 21:45:00
784
原创 每天认识一个组件：Apache Paimon
Apache Paimon 是一个面向批流一体的湖格式，目标是在数据湖架构中支持高吞吐写入、实时更新、低延迟查询、快照管理与多引擎访问，反映了湖仓架构从“离线分析型数据湖”向“实时更新型湖仓”的演进。
2026-10-14 22:45:00
303
原创 每天认识一个组件：Apache Kafka
Apache Kafka 是一个以 分区、复制、持久化日志 为核心的分布式事件流平台：生产者持续追加事件，消费者使用 offset 记录读取位置，多个消费组可以按照各自节奏独立读取、回溯和重新处理历史数据。
2026-10-13 22:45:00
549
原创 湖仓时代的数据生命周期治理：让数据留得有价值、删得有依据
数据资产治理让企业知道“有什么数据”，而生命周期与存储治理让企业知道“这些数据该如何被保留、组织、压缩、迁移、清理和计费”。分区治理解决扫描范围，小文件治理解决文件布局，冷热分层解决存储介质匹配，过期清理解决无效占用，压缩解决单位存储成本，成本分摊解决责任边界。
2026-10-11 20:15:00
156
原创 每天认识一个组件：Apache DolphinScheduler
DolphinScheduler 解决的是数据工程中的工作流编排问题：用 DAG 表达依赖，用 Master 推进状态，用 Worker 执行插件任务，用注册中心协调节点，再通过元数据库保存可恢复的运行状态。
2026-10-10 22:30:00
777
原创 每天认识一个组件：Apache Calcite
Apache Calcite 的价值，在于把数据库和大数据系统中通用而复杂的 SQL 解析、校验、关系代数建模、规则优化、代价优化和数据源适配能力抽象成一个可复用框架。
2026-10-09 21:45:00
365
原创 元数据目录到数据资产运营：让好数据被看见、被复用、被持续经营
数据资产运营的关键产物不是一张排行榜，而是一套能解释决策的机制。责任人能收到并处理事件，消费者能看到质量证据，平台能说明推荐理由，治理团队能安全下架低价值资产，业务团队才能真正从“数据很多”走向“知道哪些数据值得用”。
2026-10-04 13:15:00
326
原创 每天认识一个组件：远端数据服务Apache Celeborn
Apache Celeborn 的出现，本质上是大数据计算从“固定集群 + 本地临时文件”走向“弹性计算 + 独立中间数据服务”的结果。它把 Shuffle 这个长期隐藏在批作业内部的难题抽象成独立服务，让存算分离、动态资源分配、故障恢复和资源治理有了更清晰的工程边界。
2026-09-30 21:45:00
448
原创 每天认识一个组件：数据质量平台Apache Griffin
Apache Griffin（已退休）的历史价值在于，它较早把大数据质量问题抽象成平台化流程：规则定义、Spark 计算、指标沉淀、服务化管理和可视化展示；可以把它当作架构参考，理解一个数据质量平台应该如何组织质量维度、规则 DSL、执行引擎和指标存储。
2026-09-29 21:00:00
270
原创 面向湖仓一体的大数据安全治理：识别、授权、脱敏与审计
大数据平台的数据安全治理，本质上是把“数据资产、敏感标签、分级分类、访问策略、脱敏规则、审计证据”连成一个闭环。敏感数据识别让平台知道风险在哪里，分级分类让平台知道风险有多高，行列级权限和动态脱敏让平台在查询时控制暴露面，访问审计让平台在事后能够追踪和改进。
2026-09-28 22:00:00
413
原创 每天认识一个组件：向量化计算加速Apache Auron
Apache Auron 的核心价值，是在保留 Spark 等分布式计算框架生态的同时，把可支持的 SQL/DataFrame 执行片段迁移到 Rust、Arrow 和 DataFusion 组成的原生向量化执行路径中。
2026-09-26 14:30:00
573
原创 数据血缘与影响分析：从字段链路到变更治理和故障定位
表级血缘解决“数据集之间如何依赖”，字段级血缘解决“字段和指标如何计算”，任务级血缘解决“哪次运行导致了当前结果”。三者合在一起，才能让数据治理从“发现问题”走向“定位问题、评估变更、控制影响”。
2026-09-24 22:45:00
271
原创 每天认识一个组件：内存列式格式Apache Arrow
Apache Arrow 的核心价值，是为大数据系统提供一套统一、标准、跨语言的内存列式表示。它解决的不是“怎么把数据存得更小”，而是“当数据进入计算和交换阶段，如何少拷贝、少反序列化、少重复实现”。
2026-09-23 18:31:13
395
原创 从规则到工单：大数据数据质量治理闭环
数据质量治理的终点不是“发现异常”，而是让异常进入一个稳定的处理系统。完整性、唯一性、及时性、准确性和一致性帮助我们定义问题；规则配置、任务拦截和告警分级帮助我们及时发现并控制扩散；问题工单和复盘机制则负责把问题真正修掉，并减少复发。
2026-09-22 18:45:00
562
原创 每天认识一个组件：数据集成Apache SeaTunnel
Apache SeaTunnel 的价值在于把企业数据集成中最常见、最重复、最容易碎片化的同步链路抽象出来，用统一配置、统一 Connector API 和多执行引擎适配降低开发与运维复杂度，适合承担数据平台中的接入层和同步层。
2026-09-20 18:41:37
569
原创 元数据之后，数据治理该做什么：标准、指标与主数据
元数据治理解决“数据资产可见”，数据标准治理解决“数据含义一致”。当数据标准、命名规范、编码规范、指标口径和主数据都能挂接到表、字段、血缘、报表和责任人上，数据治理才会从文档走向生产系统。
2026-09-18 18:35:19
270
原创 从元数据到数据地图：企业数据治理的第一块地基
数据治理的第一步，不是马上写质量规则，也不是先画复杂血缘图，而是把数据资产看清楚、讲明白、管起来。技术元数据让资产可见，业务元数据让资产可懂，操作元数据让资产可信；数据目录、资产盘点和数据地图，则是这三类元数据面向用户和治理流程的具体表达。
2026-09-17 19:09:07
232
原创 OpenMetadata VS DataHub VS Atlas VS Gravitino
如果你的团队正在建设湖仓一体、多引擎查询和统一权限体系，Gravitino 值得优先调研。如果你的目标是提升数据资产可发现、可信、可治理和可被 AI 使用，OpenMetadata 或 DataHub 更贴近。如果你已有深厚 Hadoop/Ranger 存量，Atlas 可以继续承担分类、安全和合规治理角色。
2026-09-16 22:40:21
360
原创 每天认识一个组件：元数据平台OpenMetadata
OpenMetadata 的核心价值：把分散在数据生态中的技术元数据、业务语义、血缘关系、质量信号、所有权和治理策略连接成统一的元数据知识图谱。它不仅能改善数据发现和资产治理体验，也能让变更影响分析、质量运营、指标口径管理和 AI 数据助手变得更可靠。
2026-09-15 18:38:06
185
原创 每天认识一个组件：元数据平台 DataHub
DataHub 的价值在于把“元数据”从静态说明升级为可建模、可查询、可订阅、可治理的基础设施。它既能解决资产发现、血缘追踪、Owner 维护等日常问题，也能作为数据治理、质量联动、权限审查和 AI 数据上下文的底座。
2026-09-14 18:39:18
401
原创 大数据数据治理体系建设：从平台能力到组织闭环的完整蓝图
大数据数据治理的完整框架，可以概括为一句话：以组织责任确定“谁负责”，以制度规范定义“按什么规则负责”，以流程闭环保证“问题如何被解决”，以技术工具支撑“规则如何被执行”，以指标度量回答“治理是否有效”。
2026-09-13 11:19:22
456
原创 每天认识一个组件：分布式缓存Alluxio
Alluxio 的核心价值可以浓缩为一句话：它把远端、异构、相对慢的数据源，包装成更靠近计算侧、更统一、更容易复用的分布式数据访问层。
2026-09-11 22:03:22
316
原创 从数仓建模到 AI 数据底座：重新理解数据治理的位置
数据治理的核心价值是让数据在组织中可理解、可复用、可控制、可追责，数仓建模解决“如何表达业务”，数据中台解决“如何复用资产”，湖仓一体解决“如何统一存储与计算”，实时数仓解决“如何低延迟可信计算”，AI 数据底座解决“如何让模型使用可信上下文”；治理把这些能力串成一个可持续演进的数据体系。
2026-09-09 23:02:19
219
原创 每天认识一个组件：数据治理Apache Atlas
Apache Atlas 的核心价值，是把分散在数据平台中的技术元数据、业务语义、分类标签、血缘关系和安全策略组织到一个统一治理框架中。它通过类型系统定义资产模型，通过图结构表达关系，通过 Hook、Kafka 和 REST API 接入生态，再通过搜索、Glossary、Classification、Lineage 和 Ranger 联动支撑治理应用。
2026-09-08 22:51:52
385
原创 大数据数据治理到底治理什么：从“数据可用”到“数据可信”
本文从数据混乱、口径不一、任务失控、权限粗放四类真实场景切入，解释数据治理为什么必须做、到底治理什么、治理到什么边界，以及技术团队该如何理解治理的业务价值和技术边界。
2026-09-07 21:13:16
295
原创 每天认识一个组件：统一 Shuffle 引擎Apache Uniffle
Apache Uniffle 定义为面向分布式计算引擎的高性能、通用远程 Shuffle 服务，支持 Spark、MapReduce、Tez，并提供 Kubernetes Operator 用于创建、配置和管理 Uniffle 实例。
2026-09-06 17:45:46
352
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人