Doris实战——工商信息查询平台的湖仓一体建设

目录

前言

一、架构1.0：传统Lambda架构

二、OLAP引擎调研

三、架构2.0：数据服务层All in  Apache Doris

四、架构 3.0：基于Doris Multi-Catalog的湖仓一体架构

五、实践经验

5.1 引入Merge-on-Write，百亿级单表查询提速近三倍

5.2 部分列数据更新，数据开发效率提升100%

5.3 丰富Join的优化手段，整体查询速度最高提升近四倍

5.4 Light Schema Change，线上 QPS 高达3000+

5.5 优化实时Join场景，开发成本降低 70%

六、优化经验

6.1 E-235（文件版本过多）

6.2 E-233（事务挤压）

6.3 FE 假死

七、未来规划

---

原文大佬的这篇Doris湖仓一体建设，这里摘抄下来用作学习和知识沉淀。如有侵权请告知~

前言

    本文以某工商信息商业查询平台为例，介绍其从传统 Lambda 架构到基于 Doris Multi-Catalog 的湖仓一体架构演进历程。同时通过一系列实践，展示了如何保证数据的准确性和实时性，以及如何高效地处理和分析大规模数据，为信息服务行业提供了有价值的参考思路，有助于推动整个行业的发展和创新。架构转变使得该平台实现了离线及实时数仓的数据入口和查询出口的统一，满足BI分析、离线计算、C端高并发等业务需求，为企业内部、产品营销、客户运营等场景提供了强大的数据洞察及价值挖掘能力。

一、架构1.0：传统Lambda架构

    该商业查询平台成立之初，