数据建模BI（摘）

http://www.woshipm.com/data-analysis/790425.html

以好奇心日报为业务原型，说说大数据平台的数据建模过程

数据模型是数据平台的基石，是平台搭建过程中最最基础、也是最最重要的环节，为后续数据清洗（ETL）、开发数据报表等工作保驾护航。数据建模做的好，后面工作也会更容易，模型做的不到位，一些报表做起来耗时耗力又吃资源，甚至无法实现。

数据建模一般要经历主题和主题域分析、概念模型、维度设计、指标整理、逻辑模型、物理模型。

好奇心是内容型产品，有NEWS、LABS两个频道，有不同新闻分类和独立的栏目，商业模式以在线广告为主。

为什么选好奇心日报？一方面它确实是目前鱼龙混杂的内容产业中的一股清流，新媒体的一个标杆，以好奇心驱动坚持做有品质的内容、筛选最有价值信息、全球最新动态； 更主要的是它的产品线全面，有APP、PC网站、移动网站、订阅号、小程序，同时也运营着今日头条、网易、微博等各大媒体公号，且成绩有目共睹。产品线全面、业务规模适中，作为业务原型讨论数据建模最合适不过了。

案例说明
了解数据仓库的，都知道数据仓库是面向主题，也就是其中的数据是按主题进行组织的。

首先从分析主题入手，主题是在较高层次上对业务数据进行梳理、归类，一个主题基本对应一个宏观的分析面。

主题域是确定主题中包括的数据分析范围及边界，确定了主题及主题域，数据平台对外输出能力也基本确定了。

好奇心业务来说可以分为内容生产运营、营销、用户、广告收入四个方面；再对主题进一步细化出子主题，例如广告主题可以拆除订单分析、营收分析、广告位分析、品牌主分析、业绩分析，子主题也就是主题的边界。

下面我们分别展开说说四个主题的内容：

用户分析
分基本信息、行为分析、商业兴趣三个子主题。

基本信息就是常见的人口属性，包括性别、年龄、地域、职业、职务、月收入等；
行为分析包括用户触点（用户访问好奇心的入口，是App，还是订阅号，还是同时使用多个）、习惯时段、访问轨迹、评论、参与投票等互动行为；
商业兴趣是指用户对那些新闻分类、栏目、或者内容主题的喜好程度，可以用于指导内容生产和个性化推荐。
内容运营
可以分为流量分析、内容分析、作者分析、第三方平台分析。

流量分析就是常规的网站、App的各频道、栏目的PV、UV、日活数等等指标，同时还要按媒介来源细化到Organic、Syndication、Socail等不同维度和维层；
内容分析可以从单篇文章、单个分类进行分析。例如获取某一篇文章在不同平台的阅读量、点赞数、互动数，也可以分析某篇热点文章从发布、预热、引爆、衰退的过程；
作者分析是从生产者角度进行汇总分析，作者的文章产量、文章阅读数、互动数、用户喜好程度等等分析，如果每个编辑记者都制定了KPI就可以很快捷的知道KPI达成情况。
第三方平台分析是指分析分发到订阅号、小程序、今日头条号、网易号上的阅读、互动、分析、回流情况。
营销推广
分为推广分析、渠道分析、活动分析。

推广分析是指付费广告推广，汇总投放目标、曝光展示、点击、下载激活，进行推广效果评估，获客成本分析；
渠道分析是从渠道角度分析用户留存、活跃、互动，以评估渠道质量，渠道和推广还是有区别的，例如在今日头条这个媒体渠道，会做多次推广。
活动分析一般是市场、运营组织的用户参与的营销活动分析、接触人数、参与人数、转化人数等等。
广告收入
分为营收分析、广告订单分析、广告位分析、品牌主分析。

从总收入、订单、单个广告位、品牌主、销售经理、销售大区不同维度分析收入贡献，挖掘销售潜力，降低广告库存，提高售卖率和广告单价。

模型建立
概念模型
是主题的基础上，识别出主题中的对象，以及建立对象之间的关系，列出对象的较核心的属性。

例如我们为好奇心日报提炼出产品（App、PC网站、小程序等）、用户、用户行为、文章、编辑等对象，并描述了对象之间的关系以及表述对象的核心属性。

逻辑模型
是将概念模型具象化，为对象增加必要的属性。

下图是使用一款在线工具ProcessOn画的部分逻辑模型，还可以使用更专业的建模工具ERWin和PowerDesigner。

物理模型
是把上述逻辑模型的内容，在具体的物理介质上实现出来，确定字段类型、取值范围、采用MySQL、Oracle等建立数据库表，这里就不详细展开介绍。

最后对业务涉及的维度和度量进行梳理，维度越丰富，粒度越细，做数据分析时就可以挖地越深入。

正如数据仓库权威专家Kimball所说：数据仓库的能力直接与维度属性的质量和深度成正比。比如时间维度可以分为季度、月、周、日四个层次，但周和日还可以还可以细化出周天、日时段两个子维度，汇总一段时间内的周一到周日的启动次数（日然运营，排除推广干扰），可以看出用户从周一到周日的使用规律，同时还可以组合地域，看某一地方用户周一到周日的使用规律，日时间段同理。当然粒度越细，对数据收集和处理的要求越高。

维度建模
维度建模有专门的方法论，需要根据业务规模、最终需求设计合理的维度模型。

下面是根据业务梳理的维度和度量指标，大家可以尝试组合下，是否能够满足日常运营的需要，如果觉得不够可以考虑下怎么扩展。

维度
用户

基本信息：性别、年龄、职业、职务、月收入、教育、婚姻状况、子女数、地域
兴趣标签，标签可分大类、小类
时间

月、周、日、时
日时段
周天
地域

省
一级、二级、三级城市
北上广深
流量来源

Syndication

Toutiao、网易、一点等
Organic

Search、Referral、Direct
Socail

Weixin、Weibo、QQ
营销渠道

应用分发渠道

应用市场（AppStore、应用宝、华为市场等）、官方网站
广告推广

媒体品牌：腾讯、百度、网易……
广告位名称

广告位类型

广告位平台：PC、移动
投放创意

Socail

Weixin、Weibo、QQ
SM
Newsletter
活动

Campain List
产品及版本

iOS、Android、小程序、PC、Mobile、微信订阅号、头条号、网易号、微博头条
4.1、4.2
设备

操作系统、设备品牌、服务提供商、联网方式、屏幕分辨率
业务

内容分类：频道（News 、Labs）、新闻分类、栏目
作者、编辑
广告

广告平台：移动平台、PC平台
广告位名称（App焦点图、App信息流、PC）
广告位类型（移动开屏、移动原生、移动banner、移动插屏、PC顶通、PC焦点图）
创意形式（640×100单图、240×180多图、640×360视频、14字文字链）
订单
广告主
广告主所属行业
指标体系
用户指标

新增注册数、活跃用户数、流失用户数、登录用户数、分发平台粉丝数
流量指标

累计下载量、新增下载量、激活量、日活数、启动次数、屏幕浏览量、使用时长、留存率、计划推送数、推送达到数、推送到达率、推送唤醒数、推送唤醒率
行为指标

阅读数、点赞数、分享数、评论数、订阅数、参与投票数、发布我说、点击广告、推送点击、推送打开率
广告指标

曝光量、点击量、点击率、销售额、订单数、订单单价、库存量
模型指标

用户构成（用户地域、年龄段）、商业兴趣

题图来自 Unsplash ，基于 CC0 协议

作者：百川，微信公众号：修炼大数据（studybigdata）

本文由 @百川 原创发布于人人都是产品经理。未经许可，禁止转载