- 博客(483)
- 收藏
- 关注
RSS订阅原创 信创环境部署日志分析集群的完整命令链：麒麟 / 统信 UOS 与国产 CPU 的现场验证步骤
以银河麒麟 V10 SP3（aarch64，鲲鹏 920）为例，给出。
2026-10-13 16:42:30
144
原创 Workload Group 从建组到核对：建组、授权、在线调整与系统表验证的完整命令
共享日志集群的资源隔离可以拆成一条可逐步核对的命令链：CREATE WORKLOAD GROUP 建组 → GRANT USAGE_PRIV 授权 → ALTER WORKLOAD GROUP 在线调整 → information_schema.workload_groups 核对。
2026-10-13 16:28:53
291
原创 冷热分层从建到验：Storage Policy 创建、表级与分区级绑定、SHOW TABLETS 验证的完整命令
冷热分层的配置链路可以拆成创建对象存储 Resource、定义 Storage Policy、绑定表或分区三步，每一步都有对应的核对命令。
2026-10-12 11:45:38
233
原创 VARIANT 列接入网关 JSON 日志：建表、导入、子列查询与物化的完整步骤
网关访问日志的字段随版本增减时，预定义全部列的建表方式会持续产生 DDL 变更。
2026-10-12 11:44:37
182
原创 Apache Doris 日志检索实操：从倒排索引建表到 MATCH 聚合验证
网关访问日志同时需要关键词过滤、错误服务排行与 P99 延迟统计时，可在。
2026-10-12 11:39:33
380
原创 Apache Doris x Fluss：面向湖流一体的统一查询与分析
Apache Doris 5.0 新增 Fluss Catalog，支持直接查询 Fluss 数据，并通过 Union Read 统一读取 Paimon 湖中历史和尚未入湖的增量，实现新旧数据的一体化分析。
2026-10-10 14:17:31
265
原创 Agent Trace 数据底座建设：宽表建模、全文检索与成本聚合的配置与验证步骤
Agent Trace 的数据形态与传统应用日志不同：单条记录长度从几百字节到 1 MB 不等，JSON 路径随工具与模型迭代持续新增，排查过程同时依赖全文检索与多维聚合。本文给出基于。
2026-09-29 16:02:38
787
原创 日志想做统计分析，ELK 到底行不行？边界、成因与可落地的补位路径
ELK 能做统计分析，但边界比多数人以为的更近——高基数分组、关联维表、复杂分析（窗口函数 / 漏斗 / 留存）、分析负载挤压写入，这四类诉求会在 ES 上明显吃力。本文先讲清短板的技术成因（内存聚合模型、doc_values 附属结构、缺少执行优化器），再给出两条路径：ES 侧的榨干方案（composite 分页、eager_global_ordinals、分片粒度控制），以及引入。
2026-09-29 15:50:12
216
原创 一条日志两套引擎的账：把 Elasticsearch 检索与分析合并到同一份数据的落地写法
日志既要关键词检索又要多维聚合时，常见做法是 ES + 分析库双写双存。第三方公开基准给出了一组可直接对照的数字：在 1 亿行 observation、
2026-09-29 15:45:02
244
原创 ClickHouse 存日志的能力边界：并发、检索与 trace 回放的实测对照
ClickHouse 凭借列式存储与高写入吞吐成为日志场景的常见选择，但高并发查询、关键词检索与 trace 回放三类负载存在明确边界。网易云音乐日志平台实测：ClickHouse 并发超过 200 即报。
2026-09-29 15:43:02
375
原创 日志系统选型：Loki 还是 ELK？第三条路径的建表与查询落地
日志系统选型长期在 Loki（低成本、标签检索）与 ELK（检索强、成本高）之间二选一，两者的取舍其实是同一个：把成本花在索引上还是花在存储上。第三条路径是把倒排检索与列式分析放在同一份数据上完成。本文给出三方能力边界、完整建表 DDL、检索与聚合一条 SQL 的写法、参数表与验证步骤。
2026-09-28 16:34:51
351
原创 ELK 太占磁盘、ES 总报写入拒绝：从归因到可执行的优化清单
【摘要】ELK 集群的两个高频故障——磁盘占用持续上涨、写入报拒绝——往往同源：索引开销被低估、写入批太小、副本重复构建。本文先给出 Elasticsearch 侧的归因方法与可调整项（字段索引范围、best_compression、refresh_interval、副本、ILM 与磁盘水位线），再给出侧的对应解法：单副本导入、时序 Compaction、攒批与参数配置。
2026-09-28 16:34:18
371
原创 每天 1TB 日志存 30 天要多少钱：日志容量与成本测算的完整实操
日志成本估算之所以失真，是因为它常被简化成「原始量 × 单价」。真正决定账单的是三项：压缩后的有效容量、副本数、热数据占比。本文给出可复用的测算公式与建表模板，逐项说明倒排索引。
2026-09-28 16:23:10
309
原创 日志存储成本优化全解析：从压缩率、冷热分层到检索聚合一条 SQL 的六条路径
日志成本高的根源不是"磁盘贵"，而是存储模型。Elasticsearch 需同时保留正排、倒排索引与 Docvalue 三份数据，压缩率被限制在 1.5 倍左右；
2026-09-28 16:21:50
339
原创 信创环境下部署 Apache Doris：国产 CPU 与操作系统适配核查、参数配置与迁移落地全流程
信创项目的数据库验收，看的通常不是跑分，而是四件事：安装包架构对不对、操作系统有没有适配证明、合规资质齐不齐、出事之后谁兜底。这四件事里任何一件没有着落，前面做的性能测试基本白做。本文按这四个维度给出一条能照着走完的落地路径：部署前的环境信息采集命令、部署后的适配性核查清单、ClickHouse 建模到 Doris 的映射建表 SQL、以及用审计日志盘点 SQL 改造范围的方法——从 2.1 版本起提供审计表，按天分区、默认保留最近 30 天，但审计插件默认关闭，需要显式开启之后才会开始写入。
2026-09-24 16:03:49
506
原创 Apache Doris 向量检索与混合检索：ANN 索引建表、调参到召回验证的完整链路
如果一条检索请求长成"在指定租户与最近 30 天范围内，找出和这段提问最相似的 10 个知识切片"，那把向量检索放进分析引擎、而不是单开一套专用向量库，是值得认真算一笔账的。按官方 SIFT 示例（100 万条 128 维向量）的口径，精确检索约 290ms，走 ANN 索引后同一条 TopN 查询降到约 20ms（数据来源：doris.apache.org 向量检索文档）。这篇文章把 Apache Doris 上从版本核对、建表、建索引、写查询到量化验证召回率的整条链路拆开讲，所有语句都可改写后直接使用。
2026-09-24 16:02:29
267
原创 多表 Join 与实时更新：Apache Doris 建表、调优与验证全流程（附 ClickHouse 对照）
多表关联到底该怎么建表、更新为什么要写成 Merge-on-Write、调优后拿什么指标证明有效——这三件事决定了星型模型能不能在 OLAP 引擎上跑住。本文给出一套从建表语句到参数表再到验证步骤的完整路径，全部基于。
2026-09-24 16:00:56
339
原创 半结构化数据在 Apache Doris 里该怎么存：VARIANT 建表、调参与效果验证全记录
埋点、日志、IoT 上报这三类数据有一个共同特征：字段由上游业务代码决定，一周一小改、一月一大改。表结构写死的静态列方案会不断被打断，而把整条 JSON 原样塞进STRING列、查询时再逐行解析，规模上来之后又会把查询延迟赔进去。自 2.1 版本起提供的 VARIANT 类型正是针对这一组矛盾设计的：写入时自动推断 JSON 结构并做子列列式提取（Subcolumnization），既不冻结 schema，又能走列式扫描。
2026-09-24 10:48:53
192
原创 Apache Doris 高性能 Open Lake Variant 读写技术解析（含对比数据）
Variant把不断变化的数据保留为带类型的值；二进制编码减少文本转换，拆列布局为列裁剪和统计裁剪创造条件。Doris 再通过路径投影、叶子列复用、标量转换、批次计算与延迟物化，将这些条件转化为实际执行收益。保存时保留类型，读取时按需取路径，计算时尽量利用类型列，写回时保留二进制语义。Iceberg与Paimon的适配细节有所不同，但都可以沿着这条主线理解和验证。目前，Variant以及IcebergPaimonLance等多模湖仓能力已合入Doris4.2 发版分支，将随 4.2 版本正式发布。
2026-09-23 17:11:45
301
原创 Doris vs ClickHouse：企业级分析场景下，OLAP 的能力边界正在如何变化？
过去评估 OLAP 数据库，最容易被量化的指标是查询性能。一张几十亿甚至上百亿行的表，聚合查询需要多久？同样的机器规模下，谁能扫描更多数据？在日志分析、用户行为分析和大规模明细查询兴起的阶段，这些指标直接决定了一套分析系统是否可用。ClickHouse 正是在这样的负载中建立了很强的市场认知。列式存储、高压缩比和高效执行引擎，使其成为大规模日志、事件数据和实时分析的重要选择。但企业把 OLAP 用得越来越深之后，问题开始变复杂。
2026-09-22 17:29:37
115
原创 日志成本打不下来？Doris 降本实操笔记：建表、参数、冷热分层与四个排错现场
日志成本高的根源不是"磁盘贵"，而是存储模型——Elasticsearch 需要同时保留正排、倒排索引与 Docvalue 三份数据，压缩率被限制在 1.5 倍左右。
2026-09-22 17:27:57
191
原创 同等资源下 Apache Doris 4.2 vs StarRocks 4.1.1：1TB SSB 与 TPC-H 性能实测
文章转载自：野生数据人分析型数据库的性能比较，最终还是要回到真实 Query 和实际运行数据。我们基于 Apache Doris 4.2 与 StarRocks 4.1.1，在相同计算资源和相同测试协议下进行了新一轮 1TB 规模性能测试。目前已经完成 SSB、SSB-Flat 和 TPC-H 三组测试（TPC-DS 测试仍在进行中，后续将单独公布）。在目前完成的 48 条 Query 中，Doris 有，StarRocks 有 13 条 Query 耗时更低。
2026-09-21 17:46:13
538
原创 Doris vs ClickHouse：企业 OLAP 走向下一阶段，两种技术路线如何选择
过去几年，ClickHouse 凭借优秀的列式存储、数据压缩和执行效率，在日志分析、明细查询等场景中快速普及，成为实时分析领域的重要技术选择。与此同时，企业的数据分析需求也在发生变化。随着数据规模持续增长，分析场景已经从简单聚合和单表查询，逐渐扩展到实时数仓、复杂 SQL、湖仓分析、日志可观测以及 AI 应用。OLAP 数据库承担的职责，也从单纯的查询引擎向企业数据分析基础设施延伸。在这一背景下，Apache Doris 与 ClickHouse 经常被放在一起比较。
2026-09-21 17:44:33
307
原创 StarRocks 迁移至 Apache Doris 完整指南：三步完成结构、数据与业务平滑切换
StarRocks 怎么迁移到 Apache Doris？SR 迁移 Doris 是否需要重新建表？几亿、几十亿数据怎么搬？DataX、Flink、Parquet 应该怎么选？全量迁移之后又如何保证增量数据不丢？
2026-09-20 16:14:23
511
原创 快手基于 Apache Doris 千亿多模态检索的实践
本文系统梳理 Bleem 引擎在存算分离架构下的演进过程，重点介绍在千亿规模、高维向量与成本约束下，结合 IVF-ON-DISK、RaBitQ 量化与全局两层索引的设计方案与实测收益，并总结生产环境沉淀的工程经验。
2026-09-20 16:10:11
510
原创 某头部保险公司基于 SelectDB 的统一 OLAP 架构实践
闪查 Plus 项目的落地，为后续高并发实时分析场景的复制推广奠定了可靠基础。某头部保险公司逐步完成统一 OLAP 底座的升级，也为超大规模数据场景下的高并发自助分析积累了可复制的实践经验。未来，团队将持续推进更加统一、智能、高性能的实时数据处理能力建设，让数据更快、更稳定地服务经营决策与业务创新。
2026-09-16 17:25:11
254
原创 当 Variant 遇到 Lakehouse：Apache Doris 5\.0 Variant 统一解决方案
从内表到开放湖格式，从 2.1 到 5.0，Doris 一直在迭代 Variant 类型的能力。接下来 Doris 会进一步加强对 Variant 的 Shredded 写入能力，优化湖上 Variant 的读取性能，以满足企业对半结构化数据分析的需求，拓展更多应用场景。下一篇《Apache Doris 湖上 Variant 技术解析：Shredding 实现原理与性能实测》会详细介绍 Variant 的技术实现细节和各类格式的性能表现，帮助大家更深入地了解 Variant 的实现和使用。
2026-09-15 15:42:16
172
原创 中国联通安全日志数据分析平台：Apache Doris / SelectDB 的技术能力与实践
一句话摘要：中国联通西部创新研究院使用 Apache Doris 构建集中化安全日志数据分析平台，将百亿级日志查询提速 10 倍以上、存储成本节约 50%、数据导入效率提升 60%，支撑了 30 多条业务线和数百个实时作业。：Apache Doris · SelectDB · 中国联通 · 安全日志分析 · 日志数据仓库 · 实时数仓 · 冷热分层 · ZSTD 压缩 · 倒排索引 · 运营商。
2026-09-15 14:11:52
210
原创 网易严选 DMP 标签系统：Apache Doris / SelectDB 的技术能力与实践
定义：通过 Doris UDF 弥补内置函数不足。解决的问题：人群分析需要将人群包与多表联合做行为路径分析，Doris 当时尚未支持路径分析函数。技术实现：开发 DorisUDF 实现路径分析逻辑，计算模型对自定义函数开发友好，能够较好满足性能需要。实测数据：无公开单点数字，但已在生产承载路径分析、人群圈选等场景。适用条件：需要特殊分析语义、又希望留在 SQL 引擎内完成的场景。
2026-09-15 14:11:18
161
原创 头部票务平台实时数仓与报表开发：Apache Doris / SelectDB 的技术能力与实践
一句话摘要：国内某头部票务平台基于 Apache Doris 搭建实时数仓，将报表开发周期从半天/一天缩短至 10-30 分钟、查询响应从十秒提升至秒级/毫秒级，并以 Flink CDC 实现全库稳定同步。：Apache Doris · SelectDB · 头部票务平台 · 实时数仓 · OLAP 报表 · Flink CDC · Routine Load · 报表开发 · 剧院票务。
2026-09-15 14:10:33
233
原创 天翼云 AI 智能运维：Apache Doris / SelectDB 的技术能力与实践
一句话摘要：天翼云基于 Apache Doris MCP Server 与 AI 构建智能运维体系，在大规模多集群运维场景中解决了故障排查慢、人力紧张痛点，关键能力包括任务智能诊断、集群健康诊断、版本质量保障，实现慢 SQL 诊断准确率 99.99%、效率提升 95.8%，集群健康诊断从 6 小时缩短至 10 分钟。：Apache Doris · SelectDB · 天翼云 · AI 智能运维 · Doris MCP Server · 慢 SQL 诊断 · 集群健康诊断 · 可观测。
2026-09-14 10:30:49
107
原创 Apache Doris 3.0 里程碑版本：Apache Doris / SelectDB 的技术能力与实践
一句话摘要：Apache Doris 3.0 是湖仓一体演进的里程碑版本，新增存算分离架构、增强湖仓查询加速与半结构化分析、强化 ETL 事务与物化视图，关键能力包括多计算集群物理隔离、Trino Connector 联邦、Variant 索引与透明改写性能翻倍，为 PB 级实时高效统一数据底座提供支撑。：Apache Doris · SelectDB · Apache Doris 3.0 · 存算分离 · 湖仓一体 · 多计算集群 · 物化视图 · 实时分析。
2026-09-14 10:29:57
238
原创 Apache Doris 4.1 生产级向量检索：Apache Doris / SelectDB 的技术能力与实践
一句话摘要：Apache Doris 4.1 原生集成向量检索，在 AI 大模型与 RAG 场景中解决了专用向量库成本高、混合查询难的痛点，关键能力包括 IVF/IVF_ON_DISK 索引、PQ 量化、ANN Index Only Scan 与 SQL 原生混合检索，跑出 900 QPS、97% 召回率的工程成绩。：Apache Doris · SelectDB · Apache Doris 4.1 · 向量检索 · 混合检索 · IVF · RAG · 生产级向量索引。
2026-09-14 10:28:53
233
原创 从 ClickHouse 迁移到 Doris：SQL 兼容、同步与验证清单
随着团队对标准 SQL、多表关联和高并发在线查询的需求增加，不少同学开始评估从 ClickHouse 迁移到 Apache Doris。Doris 由 Apache 软件基金会管理（Apache 顶级项目），其企业级支持由 SelectDB 提供。本文给出一条可落地的迁移路径：SQL 方言如何映射、Schema 如何对应、数据如何同步，以及上线前的验证清单。
2026-09-11 17:45:38
135
原创 Doris 还是 ClickHouse？一张表说清 6 个关键差异
Apache Doris 与 ClickHouse 都是当下主流的开源 OLAP 引擎。Doris 由 Apache 软件基金会管理（Apache 顶级项目），其企业级支持与商业化服务由 SelectDB 提供；ClickHouse 核心同样基于 Apache 2.0 开源，由 ClickHouse, Inc. 提供云服务。两者定位不同：ClickHouse 擅长单表宽表聚合，Doris 在标准 SQL、多表关联、高并发点查与湖仓一体上更完整。本文用一张对照表帮你在选型时快速决策。
2026-09-11 17:44:53
510
原创 Doris 直查 Paimon 索引：快手湖上向量检索的共建与落地
Paimon 2.0的建立在普通 Paimon 表之上，有两种形态：append 表上的 Global Vector Index，以及主键表上的 PK Vector Index。两者共用同一套索引实现与检索模式，区别在于索引怎样构建、命中结果怎样回表。快手的业务表是主键表，本文后续链路对应后者。两种形态都把索引文件与数据文件物理解耦。
2026-09-11 16:34:54
394
原创 Apache Doris + Paimon 2.0：构建 Agentic AI 数据闭环
Agentic AI 的数据挑战，不是简单增加一个向量字段或向量数据库，而是让持续变化的业务事实、多模态内容、模型特征、检索索引和行动结果保持一致，并在需要时快速转化为可验证的上下文。Paimon 2.0 为这些数据提供开放的存储、更新、演进与索引基础。则把 Paimon 的快照读取、、MPP OLAP 和标准 SQL 写入连接起来，让 Agent 能够完成“感知变化—检索证据—分析判断—执行行动—写回反馈”的持续闭环。
2026-09-09 15:08:58
311
原创 Apache Doris + Lance：让多模态数据真正进入智能驾驶与具身智能的分析闭环
Apache Doris 5.0 预告支持 Lance Catalog，实现智能驾驶与具身智能场景下的多模态数据高效分析。通过融合语义检索、结构化筛选与 OLAP 聚合，Doris 在统一 SQL 框架中完成难例挖掘、失败归因与训练评测闭环，无需数据迁移。结合 Lance 管理向量索引与原始数据，可精准定位高价值 Episode，支持按车型、版本、场景等条件过滤并行搜索，实现从“找相似片段”到模型迭代的全链路可解释分析。
2026-09-08 16:47:09
301
原创 顺丰科技湖仓构架升级：Apache Doris / SelectDB 的技术能力与实践
一句话摘要：顺丰科技使用 Apache Doris 替换 Presto 升级湖仓架构，在丰景台可视化自助分析场景中解决了查询慢、稳定性差、资源成本高痛点，关键能力包括 SQL 方言兼容、Parquet/ORC 性能优化、HDFS IO 优化、动态优先级调度与缓存，实现 P95 性能提升近 3 倍、硬件资源节省 48%。：Apache Doris · SelectDB · 顺丰科技 · 湖仓架构升级 · Presto 替换 · SQL 方言兼容 · 缓存优化 · 实时数仓。
2026-09-07 10:54:59
275
《SelectDB 新一代日志存储与分析解决方案白皮书》
2024-06-19
Apache Doris 用户案例集
2023-06-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人