- 博客(387)
- 资源 (1)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 从一到无穷大 #70 从 LR 图 PEC 到InfluxQL兼容性差分测试方法论与工程实践
解析器是任何 SQL 方言执行的入口，它把人类可读的查询语句转化为计算机可执行的语法树。一旦解析器出现 bug，可能导致查询报错、结果失真，甚至数据库崩溃
2026-04-24 16:28:53
437
原创 从一到无穷大 #69 Mem0 的接口与数据流是怎么设计的
Mem0 给出的答案比较朴素——**把记忆系统看作一条写入流水线和一条读取流水线，把决策权交还给 LLM，但把所有结构化动作留在代码里**。这套取舍让它在 LOCOMO 基准上对 full-context 方案 **J 分数仅落后 ~6 点，却拿到 91% 的 p95 延迟下降和 90%+ 的 Token 节省**，同时图记忆 `Mem0g` 的构建时间被压到分钟级。
2026-04-21 18:03:16
689
原创 从一到无穷大 #68 Agent Memory 全景：大模型智能体记忆机制的形态、动态与前沿
近两年"记忆"一词在 Agent 生态里被用得很泛——向量库 + top-K 叫记忆、RAG 叫记忆、滚动摘要也叫记忆——概念之间缺乏边界，技术选型时很难判断某个新出现的系统到底解决了什么问题。本文按"定义 / 形态 / 功能 / 动态 / 前沿"五块组织，每一节尝试回答三个问题：**它解决了什么问题？难点在哪里？它在整张 Agent Memory 图谱中处于什么位置？**
2026-04-18 23:42:25
816
原创 从一到无穷大 #67 大查询根因分析 - 从 PinSQL 到 RCRank
云数据库的性能异常诊断是一个长期未被很好解决的工程问题。工业界的标准做法是打开监控面板，按 `total_response_time` 或 `#execution` 对 SQL 模板排序，然后人工逐条排查。这个方法在模板数较少时勉强能用，一旦模板数到了数千甚至数万，人工排查就不可行了。
2026-04-17 16:01:56
613
原创 从一到无穷大 #66 Hindsight：具备记忆、回忆、反思能力的Agent Memory系统
维度评级说明核心 API 稳定性⚠️ 中内存泄漏 + Worker 死锁表明生产就绪度不足数据完整性⚠️ 中孤儿数据、永久合并失败、心智模型不可靠Worker 可靠性🔴 低无崩溃恢复；过期任务卡死 bank；异步队列停滞可观测性🔴 低Reranker 空错误消息；异步失败不透明国际化🔴 低CJK 搜索完全不可用成本可控性⚠️ 中全链路 LLM 依赖，高吞吐场景成本不可预测发布节奏✅ 高836 PRs，日常活跃提交，维护者响应及时Bug 解决率✅ 好。
2026-04-17 12:04:07
1056
1
原创 从一到无穷大 #64：思考Google、Anthropic、OpenAI 的 Skill 设计方法论
本作品采用进行许可。本作品 (博文, 由创作)，由确认，转载请注明版权。
2026-03-22 18:19:06
1093
原创 问津集 #6：An Efficient Cloud Storage Model with Compacted Metadata Management for Performance Monitorin
这篇文章弥补了数据维度分离存储到对象存储上的空白，但是业界不这么做是有原因的，我们的经验是因为维度部分的全局索引在膨胀的情况没法部分载入到本地，为了工程实现的统一，对象存储统一使用分离索引的存储。
2026-02-28 20:48:34
838
原创 从一到无穷大 #62 ClickHouse 加速机制持久化格式拆解
从现实出发，ClickHouse的计算与存储引擎、数据导入导出链路、协议与生态适配都已极其成熟。若在有限资源下试图在日志与分布式追踪数据领域正面追赶它，我长期并不乐观。
2026-02-09 19:51:46
810
原创 从一到无穷大 #59 实时OLAP系统到底有多实时？
现代数据系统几乎都在追求同一个目标：低成本、实时、并且具备高性能的查询能力。但当真正落地到工程实现时，人们会迅速发现，这三点无法同时做到最优。
2025-11-23 12:11:22
1074
原创 从一到无穷大 #57：Snowflake的剪枝方案
The fastest way of processing data is to not process it at all.
2025-11-15 18:54:03
1178
原创 从一到无穷大 #56 Disaggregated Infrastructure 与 Compaction-as-a-Service 适用场景与解决方案
Disaggregated Infrastructure与Compaction-as-a-Service是应对现代数据中心挑战的两个互补的技术方向。前者解决资源弹性和成本问题，后者解决性能稳定性问题。两者可以独立部署，但结合后能产生更大价值。
2025-11-15 18:53:24
941
原创 从一到无穷大 #55 提升Lakehouse查询性能：数据层面
Lakehouse的加速可以总结为两个方面，计算引擎的优化和存储引擎（数据分布）的优化。之前的文章已经讨论了很多计算引擎方面的优化，本篇文章来总结基于数据分布的优化措施，用于指导技术选型以及明确当前的定位。
2025-11-07 20:30:32
1254
原创 从一到无穷大 #54 数据管理中宽表（Wide Table）的问题阐述与解决方案
宽表的问题本质是存储布局与查询需求的错配，也是业务场景演进过程中必然会发生的问题。当存储格式无法适配宽表的列数规模和访问模式时，各种痛点自然会暴露。解决问题的关键不在于追求万能格式，而在于实现场景-存储-查询的三重匹配。
2025-11-02 17:19:29
972
原创 从一到无穷大 #53 Beyond TSDB Query performance: Homomorphic Compression
同态压缩的本质是让压缩与计算具备代数同态性（algebraic homomorphism）
2025-10-31 20:03:58
801
原创 从一到无穷大 #52：Lakehouse 不适用时序？打破范式 —— Catalog 架构选型复盘
Lakehouse 表格式通过统一开放存储与仓库级管理功能，极大地拓展了数据基础架构的边界。然而，技术选型没有银弹，需要结合具体业务场景审慎考量。在云原生时序数据库场景下，我们基于对 Lakehouse 元数据机制优劣的分析，选择了自研 Catalog 服务的道路。这一路径使我们能够聚焦于时序数据的特定需求，实现跨表事务、高效元数据访问等能力，并规避许多通用方案的不必要开销和限制。在实践中证明，自研方案很好地支撑了我们大规模时序数据的管理，性能和可靠性均满足预期。
2025-10-26 18:08:41
1213
原创 问津集 #5：Crystal: A Unified Cache Storage System for Analytical Databases
语义缓存，文件缓存，查询结果缓存，中间过程缓存；AP计算中的缓存是一个非常大的话题，基于不同的需求，查询特征，有很多设计的余地在里面，这篇文章基于对于对象存储支持谓词下推能力的观察，设计了一套对应的缓存系统，以跨多个查询缓存和重用计算结果。
2025-08-17 22:33:36
860
原创 问津集 #4：The Five-Minute Rule for the Cloud: Caching in Analytics Systems
CIDR2025的这篇文章对云环境中使用缓存的成本效益进行了建模，主要是为了找到对象缓存和对象存储之间。近40年来，Gray和Putzolu的指引开发人员找到了内存缓存与直接本地存储访问之间的，这篇文章认为分离式云数据库系统设计中，对象缓存和存储也需要类似的经验法则。本来想详细的看下前面几年的文章，但是发现熟悉的大佬[1]已经完成了类似的工作了，那我只需要聚焦在这篇文章就好。
2025-08-10 22:25:22
1213
原创 问津集 #3：TSCache: An Efficient Flash-based Caching Scheme for Time-series Data Workloads
本文分析了时序数据缓存系统TsCache的设计思路与关键技术。文章指出TsCache针对监控场景中频繁查询固定时间范围的特点，通过部分命中机制提升查询效率，对于大请求可将延迟降低36.2%。系统采用创新的混合缓存策略，将缓存分为LRU和FIFO两个分区，分别处理热点历史数据和最新数据，实现了智能的缓存替换机制。虽然部分设计如数据块共享机制在实际应用中存在局限性，但论文提出的时间感知缓存策略和部分命中优化思路具有重要参考价值，为时序数据缓存领域提供了有价值的理论探索。
2025-08-10 19:13:09
1056
原创 从一到无穷大 #51：突破阿姆达尔定律：COZ因果剖析与串行优化八法
设想未来整个优化流程——从性能监测，解决方案设计，代码生成，性能评估——都将实现自动化。
2025-08-03 18:34:04
1245
原创 问津集 #2：High Compression and Fast Search on Semi-Structured Logs
很深入的观察，发现Semi-Structured Logs可以通过对schema分组，而不是传统思路按照时间线分组，这种思路对于日志场景非常有帮助，其实非结构化日志也可以通过分词后使用这种方案。
2025-07-27 19:15:19
1083
原创 从一到无穷大 #50：Velox CoalescedIO & LazyVector 原理解析
远端IO请求是没有缓存的情况下轻量级查询中最耗时的地方，对象存储的一次查询又非常久， 使用Velox查询远端存储Parquet文件的过程中发起几次IO请求就成了小查询冷读性能的关键点。
2025-07-23 19:17:25
1114
原创 从一到无穷大 #49：Velox Window Operator 源码解析
Window算子是分区后执行复杂计算的第一选择，其提供基于PartitionKey，SortKey排序，Frame为边界的聚合能力，使其可以实现众多特性，比如Compact的执行流程。
2025-07-23 18:34:33
1360
原创 问津集 #1：Rethinking The Compaction Policies in LSM-trees
Investment View，只学计算机可没法说出这样的话，跨界的知识储备对个人还是非常重要的，很多时候可以提供更为创新的视角。
2025-07-19 20:29:18
1008
原创 从一到无穷大 #48：Vector Bucket，S3如何把向量玩成新范式？
摘要 AWS S3最新推出的Vector Bucket功能标志着对象存储从基础存储层向多模态服务转型，通过扩展索引层支持向量检索等垂类场景。该服务以低成本为卖点，单桶支持500亿向量存储，提供sub-second查询性能，并原生集成AWS AI生态。其接口设计类似向量数据库，支持批处理操作和元数据过滤，但存在写入QPS限制（5次/秒/索引）。产品形态体现了存储服务向计算领域渗透的趋势，可能对传统专用数据库市场形成冲击。这种创新思路可延伸至时序、图数据等场景，反映了基础存储服务通过功能扩展寻求增长的新方向。
2025-07-17 23:47:46
1064
原创 从一到无穷大 #46：探讨时序数据库Deduplicate与Compaction的设计权衡
时序数据库与关系型数据库一个比较大的功能差异为`Deduplicate`，时序数据库默认携带，而关系型数据库依赖于索引和查询时主动去重。
2025-05-30 21:49:21
1552
原创 从一到无穷大 #45：InfluxDB MCP Server 构建：从工程实践到价值重构
本文主要聚焦于构建 Influxdb MCP Server工程实践中遇到的问题，最终的结果展现，MCP的可能性展望，和MCP给工作生活带来的变化四个方面来讨论。
2025-04-13 20:30:27
1786
1
原创 问题解决：glog中的LOG(INFO)与VLOG无法打印
具体的思路是大概了解下glog框架的原理，然后直接gdb去对比LOG(INFO)，VLOG和LOG(WARNING)，LOG(ERROR)执行路径的区别，确定没有打印的实际原因是什么。
2025-04-03 18:45:19
1109
原创 从一到无穷大 #44：AWS Glue： Data integration + Catalog
Glue官方的定义是Data integration cloud service，我第一次认识到Glue其实是因为其一统了AWS的元数据管理市场，可以作为Hive，Trio，Spark，Athena的Catalog模块用于查询服务，但在研究了论文后，发现Glue其实是一个巨无霸系统
2025-03-30 22:29:22
1548
原创 从一到无穷大 #43：Presto History Based Optimizer，基于PlanNode粒度统计的查询计划选择策略
HBO（History Based Optimizer） 在 `Operator Node` 级别统计 `Query Execution Statistics`，并使用这些数据来预测相似查询的未来性能。HBO基于一种假设，即用户查询虽然复杂，但本质上是重复性的，一般使用使用模版生成相同结构的查询，这会造成查询计划基本一致，进而可以通过简易的方法找到之前的统计信息，然后用来执行精确的估计。
2025-02-03 14:26:41
1295
原创 从一到无穷大 #42：ClickHouse - 极致工程优化的Lightning Fast Analytics
ClickHouse当今的流行程度毋庸置疑，可以说是业界极致工程优化的代名词，ClickHouse - Lightning Fast Analytics for Everyone这篇论文整体的基调也是这样，即真正意义上的`Industrial Paper
2025-01-19 20:38:44
1222
原创 从一到无穷大 #41：大浪淘沙：Presto演进史
从Presto的演进史我们可以看到一个顶级OLAP系统从零到一百的关键技术发展路径；可以看到一个顶级项目在公司内开疆拓土的历程；也可以看到一个合格的基础架构团队如何支持Meta以至于全球各大公司对于计算日益增长的需求。
2024-11-23 11:27:38
1159
原创 问题排查：C++ exception with description “getrandom“ thrown in the test body
确定是内核版本问题
2024-11-06 19:38:28
1650
GCC 10.2 2020年7月23日发布
2020-10-01
出现内存泄露，但是用valgrind和mtrace都没办法找到泄露位置。
2020-07-02
做操作系统实验的时候编译内核出现问题，
2020-09-27
这段简单实现switch的汇编代码如何修改?
2020-06-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人