小红书云原生 Kafka 技术剖析:分层存储与弹性伸缩 一文解析小红书 Kafka 如何基于云原生存储和负载均衡等技术,实现 60% 的存储成本节省和 10 倍的扩缩容运维效率提升, 并成功打造「弹性伸缩、按量付费」的商品化模式
小红书离线数仓提效新思路,提升百倍回刷性能 为了突破现有以 Spark 为核心的数仓架构在资源和时间消耗上的限制,小红书数据仓库团队将 StarRocks 融入到离线处理流程,替换掉部分 Spark 处理的任务,并优化较为耗时的 Cube 计算,大幅度提高了数据的执行效率。小红书数据仓库团队经过一系列创新实践,通过改造离线处理链路,有效降低了任务资源消耗,提前数据产出时间,将回刷时间减少 90%,回刷成本减少 99% 以上。阅读本文,小红书技术团队和你分享离线数仓提效新思路!