O2O数据仓库实践:应对快速变化业务模型

文章讲的是 O2O数据仓库实践:应对快速变化业务模型， 2014年4月10日-12日，第五届中国数据库技术大会(DTCC 2014)在北京五洲皇冠国际酒店拉开序幕。今天是12日下午的专场8：数据仓库设计和管理。来自美团网的数据仓库架构师徐章给大家带来了《O2O数据仓库实践——应对快速变化的业务模型》。

▲点击进入中国数据库技术大会报道专题

　　O2O这个增长迅猛，快速变化的行业，对如何建立数据仓库提出了很多挑战——快速变化, 快速处理, 快速应用是三个最核心的需求。美团作为国内最大的本地服务电子商务公司,在支撑前线的数据仓库设计上面临哪些挑战?又有哪些方案?美团数据仓库架构师徐章，他目前负责美团数据仓库的建设和数据仓库工具的开发。他介绍了美团数据仓库的架构和核心工具，以及在数据建模和管理上的探索、实践和创新。

▲美团数据仓库架构师徐章

　　数据仓库的构建离不开业务场景

　　解析团购行业的特点：1、团购?业低?利,要求?效率，百度8%，美团5%。2、业务复杂. 订单、财务、供应链、客服等，近20个业务部?,关系复杂需求多。3、业务变化快. ?业?速发展,形式不断更新。

　　团购行业对数据仓库的要求：快速建模: 全?地覆盖所有业务、业务模型灵活变更: 可?且响应周期短、?便使?: 每个?都能使?数据资源。

　　快速粗放式增长之痛：1、指标管理混乱: 重复定义, ?径不?致, 变更困难。2、元数据过于松散: 找不到数据, 业务知识零散。3、依赖关系过于复杂: 层次过深, 指标来源不明。4、规范执?困难: ??审核,建模?法论难以贯彻，还容易将精?耗费在业务?关的细节上。

　　数据仓库的构建思路

　　1、形式化模型定义：精确表达业务逻辑、?处定义,各处复?、模型即?档。

　　2、简化处理层级

　　3、模型驱动数据?产

　　总线图的方法

　　多维度模型视角主要包括：1、按事实?度(纵向): 星型多维。2、按主题组织(横向): 维度层级组合合并

　　模型元素：1、实体/事实: 名称,物理表名,属性/度量列表；2、属性: 名称,对应字段/表达式,属性字典；3、度量: 聚合?法；　4、层级关系: 各层级属性

　　简化处理层级：目标

　　模型驱动?动化?作流：1、??成聚合表流程。2、?动创建主题表流程。3、?动部署上线并注册任务调度。

　　驱动数据?产:聚合计划：1、选定事实。2、指定维度层级组合。3、?成Hive SQL (Multi Groupby)

　　驱动数据?产:主题定义：1、选定维度层级组合。2、指定事实列表。3、?成Hive SQL (FULL OUTER JOIN)。

　　达成的效果：1、关注于业务建模, ?具执?规范和?产。2、业务知识和指标查找变得可能。3、减少混乱的指标定义带来的沟通?作。4、快速响应模型变更。5、便于快速铺开到新的产品线(电影,酒店,外卖…)

　　经验总结

　　最后，美团数据仓库架构师徐章总结了自己的经验，主要包括了三点：1、元数据管理的形式: 档< wiki < 字典系统< 形式化模型。2、对开放数据产的态度: 平衡治和统。3、动化,助化,平台化。

作者:景保玉

来源：IT168

原文链接：O2O数据仓库实践:应对快速变化业务模型