小红书基于构建广告数据中心的实践

最新推荐文章于 2024-08-16 07:45:00 发布

wadfdhsajd

最新推荐文章于 2024-08-16 07:45:00 发布

阅读量789

点赞数

分类专栏：后端文章标签：数据分析 big data 数据仓库 java 系统架构

本文链接：https://blog.csdn.net/wadfdhsajd/article/details/124846533

版权

小红书在应对业务和数据量爆炸式增长时，经历了从 Redshift 到 StarRocks 的 OLAP 演进。StarRocks 的高性能和全面向量化计算技术帮助小红书构建了统一数据服务平台，简化数据链路并提升查询能力。在广告业务中，StarRocks 解决了搜索广告和效果广告的实时分析需求，提供了高并发、低延迟的解决方案，同时降低了运维复杂性和数据质量问题。未来，小红书计划继续推广 StarRocks 并参与社区建设。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

小红书是年轻人的生活记录、分享平台，用户可以通过短视频、图文等形式记录生活点滴，分享生活方式。在 2017 年后，随着业务类型和用户体量的爆炸式增长，各类数据分析的需求以及应用系统的数据需求快速出现，例如：商业智能分析，数据应用报表，用户行为分析、算法策略数据等。为了满足业务需求，小红书使用过多种 OLAP 数据分析系统。StarRocks 采用了全面向量化计算技术，是性能非常强悍的新一代 MPP 数据库。通过引入 StarRocks，小红书构建了全新的统一数据服务平台，大大降低了数据链路开发复杂性，提升了高并发极速查询能力。

小红书 OLAP 演进史

小红书 OLAP 演进可以分为四个阶段。第一阶段，在 2017 年之前，数据总量还不算非常大，这个阶段主要使用 AWS 的 Redshift。此阶段数仓体系还没有完全建立，很多数据需求的实现都是用短平快、烟囱式开发的方式来满足。数据 ETL、数仓模型到最后报表端展现，在 Redshift 中一站式完成。但随着业务复杂度不断提升，以及数据量的快速增长，这种模式很快遇到了瓶颈。

第二阶段，基于 Hadoop 生态构建了小红书的数仓体系，基于 Hive 和 Presto 构建数据分析平台。

第三阶段，随着数据实时性的要求越来越高，业务方对整个数据分析的性能要求也越来越高，所以在 2019 年左右引入了 ClickHouse。通过 ClickHouse 强悍的分析能力，构造了一个准实时的交互式的分析平台，来支撑公司内包括用户行为分析、实验平台等一系列的场景。

第四阶段，随着实时数仓体系的设计和建设不断的推进，越来越多内部包括外部的数据应用也对数据分析要求越来越高。除了要求超低延迟的响应要求，同时还可能有比较高的 QPS 要求，ClickHouse 在这方面就不能够很好的满足业务的需求。所以在 2020 年底的时候，我们尝试了 StarRocks，并且目前已经在公司内多个业务场景中落地推广。