StarRocks——中信建投统一查询服务平台构建

目录

一、需求背景

1.1 数据加工链路复杂

1.2 大数据量下性能不足，查询响应慢

1.3 大量实时数据分散在各个业务系统，无法进行联合分析

1.4 缺少与预计算能力加速一些固定查询

二、构建统一查询服务平台

三、落地后的效果与价值

四、项目经验总结

---

  原文大佬的这篇StarRocks应用实践有借鉴意义，这里摘抄下来用作学习和知识沉淀。

近年来，中信建投重视数据基础设施的建设，对自助分析、多维分析、固定报表和 API 数据服务等形式的用数需求一直在不断增长。

一、需求背景

    中信建投已经在2019年搭建了基于Hadoop 体系的数据湖，用  Hive对数据进行加工处理，所有的查询计算都通过 Presto 执行。但是，该方案在最近两年数据量快速增长、业务场景多样化发展的趋势下逐渐无法适用。具体而言，中信建投目前在数据查询分析中主要存在以下痛点和需求：

1.1 数据加工链路复杂

    在数据分析的流程上，数据部门通常是首先用Presto做即席查询，再通过 Hive进行数据加工，最后将加工过后的数据下发到各部门的 Oracle 或 MySQL 事务型数据库，业务人员在事务数据库里对下发数据进行查询和分析。