酷家乐是群核科技旗下知名业务品牌,专注云设计系统及三维内容制作的技术研发和应用,面向家居、房产、公装等全空间领域,为企业级客户提供设计渲染、营销展示、生产施工、几何建模等场景的解决方案和服务。
酷家乐大数据技术团队负责酷家乐大数据体系框架的建设,支撑日常BI运营分析、商业化数据产品、在线大小数据业务、人群画像等场景。生产环境上使用StarRocks集群(10 x 物理机)替换了原有阿里云ADB集群和 EMR Presto集群,在使用部分集群资源前提下,查询性能即可与ADB持平,Presto P95的查询从秒级提升到500ms级别。在完成同等分析任务情况下,StarRocks性价比是同类产品的两倍以上。
StarRocks一套集群统一了实时和离线的分析场景,替换了多套系统带来的系统复杂性,简化了数据ETL流程,同时大幅提升Adhoc场景查询效率。
本文主要侧重于酷家乐大数据团队基于新一代极速MPP分析型数据库StarRocks,在数据服务体系和数据应用场景中的实践和探索。
作者:弋舟 大数据技术专家,酷家乐大数据团队负责人,坐标杭州
数据引擎现状
随着业务规模越来越大,数据规模和体量也急剧膨胀。企业的原始数据通常来源于日志埋点文件、业务数据库、三方接口等。企业通常基于CDH/Hadoop等大数据分布式计算框架和数据集成工具,构建离线的数据仓库,并对数据进行适当的分层、建模、加工和管理。
但上层数据应用对查询的数据存储、时效性要求高,数据最终会通过数据同步工具回流到M