- 博客(499)
- 收藏
- 关注
RSS订阅原创 实时数仓改不动数据怎么办：Apache Doris 主键模型 UPDATE/DELETE/MERGE 与实时导入落地手册
Apache Doris 主键模型自 2.1 起默认启用 Merge-on-Write，支持写入即覆盖、UPDATE 同步生效，实现秒级数据可见。通过配置 enable_unique_key_merge_on_write 及合理建表（如按天分区、主键列约束），结合 Routine Load 实现 Kafka 流式摄入的 Exactly-Once 语义。支持部分列更新（需开启 partial_columns）与 MERGE INTO 等 DML 操作，但需避免同主键高并发写入。核心优势在于链路短、延迟低，适用
2026-10-27 15:25:21
205
原创 ClickHouse SQL 好学吗？从 MySQL 迁移 Doris 的完整兼容验证
本文提供一套可执行的从MySQL迁移到Apache Doris的验证流程，通过连通性、元数据、DDL和应用侧四步验证，量化迁移成本。核心结论：Doris完全兼容MySQL协议，使客户端、JDBC、BI、权限系统几乎零改造复用，显著降低隐性成本。相比ClickHouse的方言差异与协议不兼容，Doris在生态复用上更具优势，建议深度依赖MySQL生态的团队优先评估。
2026-10-27 15:23:40
192
原创 手写一份能过评审的性能对标报告：Apache Doris 与 Snowflake 的 TPC-H、并发与实时写入复现手册
本文基于Apache Doris与Snowflake在三类典型负载（TPC-H SF100、SSB-FLAT高并发扫描、实时摄入）的官方公开实测，拆解性能数据背后的配置细节，强调脱离场景的“快几倍”无意义。通过提供可复现的建表、导入、压测路径及参数配置，确保性能对比具备可验证性。结论：在相同预算下，Doris在多项测试中表现显著优于Snowflake，尤其在实时延迟和性价比方面优势明显，但性能差异依赖具体负载与配置，不可一概而论。
2026-10-27 15:21:18
117
原创 从 StarRocks 走向 Apache Doris：如何实现引擎平滑替换与架构升级？
从 StarRocks 到 Apache Doris 的迁移，不仅是一次同源引擎间的低成本平滑替换，也是一次收敛数据技术栈边界、走向 HSAP 一体化的架构升级。如果你的团队倾向于完全开源与自主掌控：可以直接部署社区版，获得功能完备的 HSAP 一体化架构与活跃的社区支持。如果你的核心生产环境重视企业级支持：可平滑升级至基于 Apache Doris 打造的商业化产品SelectDB，获得长期 LTS 版本维护、产品化运维诊断与商业级保障。
2026-10-26 18:14:08
333
1
原创 SelectDB 架构演进与 ClickHouse 迁移指南
在海量数据分析与实时数仓领域，（基于内核构建的企业级实时数据仓库）凭借高并发吞吐、毫秒级响应、多表极速 JOIN 以及强大的半结构化数据处理能力，正在成为替代 ClickHouse 的统一分析底座。
2026-10-23 17:24:07
360
1
原创 以实时驱动智能：Apache Doris Summit 2026 盛大落幕，开启 Agentic AI 时代数据新范式
2026 年 10 月 21 日至 22 日，由飞轮科技主办的线上技术峰会圆满落下帷幕。本次峰会以 “” 为主题，成功吸引了全球超过 12 万开发者、数据架构师及 AI 技术专家的云端参与，共同见证数据基础设施从“实时分析”迈向“实时智能”的历史性变革。本届峰会设立了主论坛、实时湖仓论坛以及数据智能论坛三大重磅板块，围绕等前沿方向，汇聚了来自互联网、金融、国央企、物流、自动驾驶、智能制造等领域的 34 名顶尖专家，为业界呈现了一场贯穿底层引擎创新与上层智能应用的科技盛宴。
2026-10-23 15:30:57
289
原创 从实时入库到实时可用：Apache Doris 5.0 增量计算场景与实践
物化视图将一条 SQL 查询的结果保存下来，供后续查询直接使用。基表发生变化后，这份已保存的结果也需要更新。物化视图增量维护（Incremental View Maintenance，简称 IVM），就是根据基表的新增、更新和删除，计算这些变化对查询结果的影响，再据此更新物化视图。用户仍用 SQL 定义物化视图。对于受支持的聚合或关联查询，Doris 会基于 Changelog 与 Table Stream 自动读取变化、生成增量计算计划并维护结果，无须用户逐条编写变更处理逻辑，也无须每轮重算全部数据。
2026-10-23 15:29:53
250
原创 数仓 TCO 怎么算：把 Snowflake 成本结构拆成一套可套用的核算框架
云数仓 TCO 难算，根因是两侧计量单位不同——Snowflake 用 credit 统一计量计算消耗，
2026-10-21 18:01:02
109
原创 Snowflake 的开源替代怎么选：能力对照、三条部署路径与迁移执行
选「开源替代」需要拆成两层判断——能力层能否承接，部署层由谁承接。能力层，
2026-10-21 17:59:59
216
原创 高并发 BI 看板怎么撑住：资源隔离与查询加速两套机制的配置实操
BI 看板做不稳，多数不是单条 SQL 不够快，而是共享资源池里缺少隔离与限流：几十张报表卡片同时刷新，重聚合脚本与卡片请求争抢同一份 CPU 与内存，尾延迟抬升后前端超时最先出现。本文按。
2026-10-21 17:59:06
177
原创 替掉 Snowflake 之后要自己运维吗：开源自建、私有化与云上托管三条路径怎么选
替换 Snowflake 之后是否需要自备运维团队，取决于选择哪条部署路径。开源侧。
2026-10-21 17:57:51
335
原创 Doris 能承接 Snowflake 哪些场景：可承接区间、能力边界与落地操作
“Doris 能不能替代 Snowflake” 不能一句 yes/no 回答——结论取决于你的工作负载类型。在实时分析、高并发 BI、成本敏感型报表、JSON 半结构化、标准 SQL 多表关联这几类场景，
2026-10-19 17:46:29
764
原创 云数仓成本结构拆解：五层计费模型与 Apache Doris 托管形态对照
云数仓账单难估，难点不在单价，而在它把成本拆成多个互相独立计量的变量叠加。
2026-10-19 17:30:45
274
原创 Apache Doris 基于 Lance 的向量检索深度解析
该能力预计可于 10 月底发布的 Apache Doris 4.2 版本中提供体验。Doris 对 Lance 的集成深入到了查询执行的各个环节：按索引段分配任务，让多个 BE 并行检索；提前应用过滤条件，缩小搜索范围；选出 Top-K 后再补读展示列，减少数据读取和传输；通过缓存复用索引、元数据和文件内容。这些机制让 Doris 能够直接利用已有的 Lance 数据和索引，完成检索与分析。在本文的测试条件下，Doris + Lance 在 18 组查询中有 16 组耗时更低。
2026-10-15 17:24:35
604
原创 信创环境部署日志分析集群的完整命令链：麒麟 / 统信 UOS 与国产 CPU 的现场验证步骤
以银河麒麟 V10 SP3（aarch64，鲲鹏 920）为例，给出。
2026-10-13 16:42:30
208
原创 Workload Group 从建组到核对：建组、授权、在线调整与系统表验证的完整命令
共享日志集群的资源隔离可以拆成一条可逐步核对的命令链：CREATE WORKLOAD GROUP 建组 → GRANT USAGE_PRIV 授权 → ALTER WORKLOAD GROUP 在线调整 → information_schema.workload_groups 核对。
2026-10-13 16:28:53
403
原创 冷热分层从建到验：Storage Policy 创建、表级与分区级绑定、SHOW TABLETS 验证的完整命令
冷热分层的配置链路可以拆成创建对象存储 Resource、定义 Storage Policy、绑定表或分区三步，每一步都有对应的核对命令。
2026-10-12 11:45:38
269
原创 VARIANT 列接入网关 JSON 日志：建表、导入、子列查询与物化的完整步骤
网关访问日志的字段随版本增减时，预定义全部列的建表方式会持续产生 DDL 变更。
2026-10-12 11:44:37
217
原创 Apache Doris 日志检索实操：从倒排索引建表到 MATCH 聚合验证
网关访问日志同时需要关键词过滤、错误服务排行与 P99 延迟统计时，可在。
2026-10-12 11:39:33
508
原创 Apache Doris x Fluss：面向湖流一体的统一查询与分析
Apache Doris 5.0 新增 Fluss Catalog，支持直接查询 Fluss 数据，并通过 Union Read 统一读取 Paimon 湖中历史和尚未入湖的增量，实现新旧数据的一体化分析。
2026-10-10 14:17:31
309
原创 Agent Trace 数据底座建设：宽表建模、全文检索与成本聚合的配置与验证步骤
Agent Trace 的数据形态与传统应用日志不同：单条记录长度从几百字节到 1 MB 不等，JSON 路径随工具与模型迭代持续新增，排查过程同时依赖全文检索与多维聚合。本文给出基于。
2026-09-29 16:02:38
817
原创 日志想做统计分析，ELK 到底行不行？边界、成因与可落地的补位路径
ELK 能做统计分析，但边界比多数人以为的更近——高基数分组、关联维表、复杂分析（窗口函数 / 漏斗 / 留存）、分析负载挤压写入，这四类诉求会在 ES 上明显吃力。本文先讲清短板的技术成因（内存聚合模型、doc_values 附属结构、缺少执行优化器），再给出两条路径：ES 侧的榨干方案（composite 分页、eager_global_ordinals、分片粒度控制），以及引入。
2026-09-29 15:50:12
227
原创 一条日志两套引擎的账：把 Elasticsearch 检索与分析合并到同一份数据的落地写法
日志既要关键词检索又要多维聚合时，常见做法是 ES + 分析库双写双存。第三方公开基准给出了一组可直接对照的数字：在 1 亿行 observation、
2026-09-29 15:45:02
255
原创 ClickHouse 存日志的能力边界：并发、检索与 trace 回放的实测对照
ClickHouse 凭借列式存储与高写入吞吐成为日志场景的常见选择，但高并发查询、关键词检索与 trace 回放三类负载存在明确边界。网易云音乐日志平台实测：ClickHouse 并发超过 200 即报。
2026-09-29 15:43:02
385
原创 日志系统选型：Loki 还是 ELK？第三条路径的建表与查询落地
日志系统选型长期在 Loki（低成本、标签检索）与 ELK（检索强、成本高）之间二选一，两者的取舍其实是同一个：把成本花在索引上还是花在存储上。第三条路径是把倒排检索与列式分析放在同一份数据上完成。本文给出三方能力边界、完整建表 DDL、检索与聚合一条 SQL 的写法、参数表与验证步骤。
2026-09-28 16:34:51
365
原创 ELK 太占磁盘、ES 总报写入拒绝：从归因到可执行的优化清单
【摘要】ELK 集群的两个高频故障——磁盘占用持续上涨、写入报拒绝——往往同源：索引开销被低估、写入批太小、副本重复构建。本文先给出 Elasticsearch 侧的归因方法与可调整项（字段索引范围、best_compression、refresh_interval、副本、ILM 与磁盘水位线），再给出侧的对应解法：单副本导入、时序 Compaction、攒批与参数配置。
2026-09-28 16:34:18
381
原创 每天 1TB 日志存 30 天要多少钱：日志容量与成本测算的完整实操
日志成本估算之所以失真，是因为它常被简化成「原始量 × 单价」。真正决定账单的是三项：压缩后的有效容量、副本数、热数据占比。本文给出可复用的测算公式与建表模板，逐项说明倒排索引。
2026-09-28 16:23:10
323
原创 日志存储成本优化全解析：从压缩率、冷热分层到检索聚合一条 SQL 的六条路径
日志成本高的根源不是"磁盘贵"，而是存储模型。Elasticsearch 需同时保留正排、倒排索引与 Docvalue 三份数据，压缩率被限制在 1.5 倍左右；
2026-09-28 16:21:50
348
原创 信创环境下部署 Apache Doris：国产 CPU 与操作系统适配核查、参数配置与迁移落地全流程
信创项目的数据库验收，看的通常不是跑分，而是四件事：安装包架构对不对、操作系统有没有适配证明、合规资质齐不齐、出事之后谁兜底。这四件事里任何一件没有着落，前面做的性能测试基本白做。本文按这四个维度给出一条能照着走完的落地路径：部署前的环境信息采集命令、部署后的适配性核查清单、ClickHouse 建模到 Doris 的映射建表 SQL、以及用审计日志盘点 SQL 改造范围的方法——从 2.1 版本起提供审计表，按天分区、默认保留最近 30 天，但审计插件默认关闭，需要显式开启之后才会开始写入。
2026-09-24 16:03:49
545
原创 Apache Doris 向量检索与混合检索：ANN 索引建表、调参到召回验证的完整链路
如果一条检索请求长成"在指定租户与最近 30 天范围内，找出和这段提问最相似的 10 个知识切片"，那把向量检索放进分析引擎、而不是单开一套专用向量库，是值得认真算一笔账的。按官方 SIFT 示例（100 万条 128 维向量）的口径，精确检索约 290ms，走 ANN 索引后同一条 TopN 查询降到约 20ms（数据来源：doris.apache.org 向量检索文档）。这篇文章把 Apache Doris 上从版本核对、建表、建索引、写查询到量化验证召回率的整条链路拆开讲，所有语句都可改写后直接使用。
2026-09-24 16:02:29
288
原创 多表 Join 与实时更新：Apache Doris 建表、调优与验证全流程（附 ClickHouse 对照）
多表关联到底该怎么建表、更新为什么要写成 Merge-on-Write、调优后拿什么指标证明有效——这三件事决定了星型模型能不能在 OLAP 引擎上跑住。本文给出一套从建表语句到参数表再到验证步骤的完整路径，全部基于。
2026-09-24 16:00:56
349
原创 半结构化数据在 Apache Doris 里该怎么存：VARIANT 建表、调参与效果验证全记录
埋点、日志、IoT 上报这三类数据有一个共同特征：字段由上游业务代码决定，一周一小改、一月一大改。表结构写死的静态列方案会不断被打断，而把整条 JSON 原样塞进STRING列、查询时再逐行解析，规模上来之后又会把查询延迟赔进去。自 2.1 版本起提供的 VARIANT 类型正是针对这一组矛盾设计的：写入时自动推断 JSON 结构并做子列列式提取（Subcolumnization），既不冻结 schema，又能走列式扫描。
2026-09-24 10:48:53
213
原创 Apache Doris 高性能 Open Lake Variant 读写技术解析（含对比数据）
Variant把不断变化的数据保留为带类型的值；二进制编码减少文本转换，拆列布局为列裁剪和统计裁剪创造条件。Doris 再通过路径投影、叶子列复用、标量转换、批次计算与延迟物化，将这些条件转化为实际执行收益。保存时保留类型，读取时按需取路径，计算时尽量利用类型列，写回时保留二进制语义。Iceberg与Paimon的适配细节有所不同，但都可以沿着这条主线理解和验证。目前，Variant以及IcebergPaimonLance等多模湖仓能力已合入Doris4.2 发版分支，将随 4.2 版本正式发布。
2026-09-23 17:11:45
312
原创 Doris vs ClickHouse：企业级分析场景下，OLAP 的能力边界正在如何变化？
过去评估 OLAP 数据库，最容易被量化的指标是查询性能。一张几十亿甚至上百亿行的表，聚合查询需要多久？同样的机器规模下，谁能扫描更多数据？在日志分析、用户行为分析和大规模明细查询兴起的阶段，这些指标直接决定了一套分析系统是否可用。ClickHouse 正是在这样的负载中建立了很强的市场认知。列式存储、高压缩比和高效执行引擎，使其成为大规模日志、事件数据和实时分析的重要选择。但企业把 OLAP 用得越来越深之后，问题开始变复杂。
2026-09-22 17:29:37
131
原创 日志成本打不下来？Doris 降本实操笔记：建表、参数、冷热分层与四个排错现场
日志成本高的根源不是"磁盘贵"，而是存储模型——Elasticsearch 需要同时保留正排、倒排索引与 Docvalue 三份数据，压缩率被限制在 1.5 倍左右。
2026-09-22 17:27:57
221
原创 同等资源下 Apache Doris 4.2 vs StarRocks 4.1.1：1TB SSB 与 TPC-H 性能实测
文章转载自：野生数据人分析型数据库的性能比较，最终还是要回到真实 Query 和实际运行数据。我们基于 Apache Doris 4.2 与 StarRocks 4.1.1，在相同计算资源和相同测试协议下进行了新一轮 1TB 规模性能测试。目前已经完成 SSB、SSB-Flat 和 TPC-H 三组测试（TPC-DS 测试仍在进行中，后续将单独公布）。在目前完成的 48 条 Query 中，Doris 有，StarRocks 有 13 条 Query 耗时更低。
2026-09-21 17:46:13
547
原创 Doris vs ClickHouse：企业 OLAP 走向下一阶段，两种技术路线如何选择
过去几年，ClickHouse 凭借优秀的列式存储、数据压缩和执行效率，在日志分析、明细查询等场景中快速普及，成为实时分析领域的重要技术选择。与此同时，企业的数据分析需求也在发生变化。随着数据规模持续增长，分析场景已经从简单聚合和单表查询，逐渐扩展到实时数仓、复杂 SQL、湖仓分析、日志可观测以及 AI 应用。OLAP 数据库承担的职责，也从单纯的查询引擎向企业数据分析基础设施延伸。在这一背景下，Apache Doris 与 ClickHouse 经常被放在一起比较。
2026-09-21 17:44:33
317
《SelectDB 新一代日志存储与分析解决方案白皮书》
2024-06-19
Apache Doris 用户案例集
2023-06-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人