数据产品-数据化产品应用

正所谓万事俱备只欠东风，在一家公司数据资产足够庞大的现状下，如何实现数据价值变现，形成通用服务才是现在很多公司招数据产品岗的主要原因。但然不是说数据治理、数据埋点、数据管理等这些数据链路上的环节不重要哈，主要是这篇文章想讲数据化应用，才这么说的哈哈！数据化应用的衍生形态会有多种多种，本篇文章写的只是基于自己接触过的数据产品进行一个整理，后面有机会接触更多的数据产品之后，有时间会进行不断丰富。

DMP管理平台的理解：除数据采集和整合之后，能够实现数据的可视化分析，数据的BI看板展现，数据内容和人群的圈选，并实现分流定制策略。现在的很多DMP产品都是事后分析型，只能够提供洞察，即在事件发生之后进行数据分析洞察现状，但真正的DMP产品应该是能够实现事前分析，即基于洞察结果，整合运营管理平台，实现用户的定向分流和内容池子的分层设计，针对不同用户群体和内容池子实现定向配比和展现，实现真正前端展示的千人千面管理配置后台系统，整合整个数据链路的东西，才是一个真正的DMP系统。

举个例子：针对短视频的呈现，一个真正的DMP系统应该是能够基于标签维度圈选出不同的用户群体，再基于标签圈选出不同的内容池子，结合不同场景进行内容分发，比如白天的时候分发多一些视频时长再6-15s的，晚上用户休闲时间，多分发一些视频时长再15-60s，能够实现在DMP平台上进行视频池子和用户池子的映射配比，以及前端展示资源位投放。

本篇文章主要整合自己对现有的一些DMP平台的了解，主要是包括：神策分析、易观方舟、GrowingIO、极光推送、阿里达摩盘、生意参谋等几个比较常见的DMP平台。整理对DMP平台的不同模块的个人理解，内容主要包括模块：智能分析、用户洞察、智能运营、智能推荐和BI可视化

一、智能分析

智能分析，即基于数据埋点，对用户本身、用户与内容、用户与平台等一系动作进行数据抽象追踪复现，实现对用户的洞察分析。一个DMP平台的智能分析是否真正智能，很大程度上依赖于数据埋点策略的制定和收集，具体关于数据埋点相关的这里不多说明。

1、事件分析

①事件，是追踪或记录的用户行为或业务过程。举例来说，一个电商产品可能包含如下事件：用户注册、浏览商品、添加购物车、支付订单等。
②事件分析，是指基于事件的指标统计、属性分组、条件筛选等功能的查询分析
③上述的事件分析是神策分析基础的前端操作界面，还可以结合用户分群设计，增加定向人群维度的塞选，针对定向人群进行分析

2、漏斗分析

①步骤：由一个元事件/虚拟事件 加一个或者多个筛选条件组成，表示一个转化流程中的一个关键性的步骤；
②时间范围：在界面上选择的时间范围，是指漏斗的第一个步骤发生的时间范围；
③窗口期：用户完成漏斗的时间限制，也即只有在这个时间范围内，用户从第一个步骤，行进到最后一个步骤，才能被视为一次成功的转化
④漏斗分析：即基于步骤、时间范围和窗口期，分析不同步骤的转化情况

3、留存分析

①留存分析是一种用来分析用户参与情况/活跃程度的分析模型，考查进行初始行为后的用户中，有多少人会进行后续行为。这是衡量产品对用户价值高低的重要指标。
②初始行为选择用户只触发一次的事件，比如“注册”、“激活设备”等，后续行为选择你期望用户重复触发的事件，比如“发帖”、“购买”等。这种留存用于对比分析不同阶段开始使用产品的新用户的参与情况，从而评估产品迭代或运营策略调整的得失。
②初始行为和后续行为选择相同的，期待用户重复触发的事件。这种留存用于分析忠实用户的使用模式

4、分布分析

①分布分析不但可以告诉你用户有多依赖你的产品，还可以告诉你某个事件指标的用户分布情况

5、用户路径

①用户路径分析主要用于分析用户在使用产品时的路径分布情况

6、间隔分析

①如何衡量转化，除了用漏斗看转化率，还需要看转化时长的分布情况，间隔分析即是解决这类问题和需求的。通过计算用户行为序列中两个事件的时间间隔，得到业务转化环节的转化时长分布。
②间隔分析通常是业务情况的反应，帮助我们探索可能存在的问题，而不设为直接优化的指标对象。例如产品用户中提交订单到支付订单间隔时长中位数过长，反应出其中可能存在问题，需要结合事件分析，漏斗分析等功能定位具体问题

7、归因分析

①业务上需要分析某个广告位、推广位对目标事件的转化贡献时，可以使用归因分析模型进行分析。在归因分析模型中，广告位的点击、推广位的点击被称为「待归因事件」，支付订单等目标类事件被称为「目标转化事件」
②归因类别说明：
A、首次触点模型：多个「待归因事件」对同一个「目标转化事件」作出贡献时，认为第一个「待归因事件」功劳为 100%
B、末次触点归因：多个「待归因事件」对同一个「目标转化事件」作出贡献时，认为最后一个「待归因事件」功劳为 100%
C、线性归因：多个「待归因事件」对同一个「目标转化事件」作出贡献时，认为每个「待归因事件」平均分配此次功劳
D、位置归因：多个「待归因事件」对同一个「目标转化事件」作出贡献时，认为第一个和最后一个「待归因事件」各占 40% 功劳，其余「待归因事件」平分剩余的 20% 功劳
E、时间衰减归因：多个「待归因事件」对同一个「目标转化事件」作出贡献时，认为越靠近「目标转化事件」做出的贡献越大

8、热力分析

①网页热力分析主要用来分析用户在网页上的点击、触达深度等情况，并以直观的效果展示给使用者
②显示内容：分为原始页面和页面组两类。原始页面是用来分析单个页面的点击情况，而页面组则用来分析一系列界面结构相似的网页整体的浏览和点击情况（例如京东的商品详情页，可以整体作为一个页面组来进行分析）

9、session分析

该项可以查看神策的说明文档：
https://manual.sensorsdata.cn/sa/latest/guide_analytics_session-16286059.html
①session即会话，一般是由多个连续的事件组成构成一个分析主体
②其设置需要关注两个核心点：Session 应该包含哪些行为事件、Session 如何切割：需设定切割时长，即相邻事件间的时间间隔超出此时长，则进行切割
③关注指标：
跳出率、退出率、Session 时长、Session 深度、Session 内事件时长、Session 初始事件、Session 属性

10、用户分析

①用户分析即以用户为主体，跟踪分析用户的明细情况，比如用户的行为序列分析，特别是在漏斗分析中，针对转化流失的用户的洞察

二、用户洞察

用户洞察模块是基于在前面的分析基础之上，进一步抽离出共性的东西进行抽象展现，形成一些通用的服务，满足不同场景或者不同行业的需求。现在很多公司都在做的更多都是这一块的东西，因其能够更为直观的给使用者带来便捷的操作和结果呈现。

1、用户画像

用户画像可以说是现在数见不鲜的东西的，通过对用户/内容的维度挖掘，然后展现出用户/内容的多维度的信息，实现对用户/内容的洞察。其最大的好处是不仅能够洞察用户/内容多维度的信息，还能够成为推荐的输入因子、能够实现人群圈选等衍生服务，比如用户分群。
①用户画像的核心：标签维度的构建，即需要尽可能多的挖掘用户/内容的维度信息，为后续的呈现和筛选提供更多的分析选择
②需要配备的功能：对于用户画像的设计，还需要做好标签元数据的创建和管理

2、相似人群扩散

相似人群扩散是用户画像的衍生应用，在用户画像系统中，可以通过智能算法（或简单的标签维度值相似性匹配），寻找到与「种子人群」特征相似的「相似用户群」。针对「相似用户群」我们可以进行有针对性的运营策略。比如：针对某个运营活动，某部分用户的参与度非常之高，可以从中抽离出该群用户的特征，进一步在用户群体中寻找相似特征的用户，再一次下发相同活动。
①相似人群的生成步骤可以分为三步：种子人群选择 → 相似特征选择 → 扩散人群范围选择
正向种子人群：预测人群的结果是与正向种子人群相似的
负向种子人群：预测人群的结果是与负向种子人群相悖的
②种子人群选择：相似人群扩散功能使用用户标签、用户属性、用户群、用户行为、用户行为序列作为种子人群的筛选条件，进行种子人群的构建

③相似特征选择：相似特征是相似人群计算中的纽带，根据选取的相似特征来学习和判断其是否相似。使用用户的标签、用户属性、用户行为的指标结果作为相似特征

④扩散人群范围选择：「人群范围」使用用户标签、用户属性、用户群、用户行为、用户行为序列作为扩散人群的筛选条件，进行人群的构建。同时，可以选择「是否包含种子人群」：能在计算计算结果中剔除掉种子人群

⑤在上诉实现相似人群扩散之后，最好还能够进行基于AI的智能预测，实现对相似性的特征权重分析和相似性拟合分析，才能针对实现结果的可行度
特征影响指数：影响指数越大，可以反应出这个特征越重要

3、用户分群

用户分群是作为用户画像的另一衍生应用，即基于标签的维度进行人群的圈选，使用同标签维度下的用户集，用于用户特征分析，用户分流、ABT测试等一系列增长实验操作

①用户分群的人群圈选方式和用户画像其实本质相同，神策的用户分群个人觉得比较好的点是其指标间的sql拼接逻辑是很抽象化和高复用性的，很多其他的DMP都是用的相同的模式，值得借鉴
②用户分群更多的是要结合后续的用户特征分析、用户分流、消息推送等后续动作才能凸显其意义

4、同期群分析

同期群分析，即对同期进入产品或同期使用了产品某个功能的用户的后续行为表现进行评估，即进行断代分析。
①同期群更多的是一种分析模式，当应用足够广泛的时候，有些会将其进一步抽象为单独的模块，特别是对于重运营模块的产品，同期群的分析可能对于对用户的分析有较强的需求
②同期群分析使你能够观察处于生命周期不同阶段客户的行为模式，而非忽略个体的自然生命周期，对所有客户一刀切。同期群分析适用于营收、客户流失率、口碑的病毒式传播、客户支持成本等任何你关注的数据指标

5、ABT和分流系统

前面的用户分群能够很好的基于标签维度帮我们定向的圈选出不同的用户群体集，对于新产品或者新功能的上线，常见的就会有灰度测试，先针对部分种子用户进行测试，根据反馈结果进行调整优化后再全量开发，能很好的提高总体的用户体验；再比如在运营活动中，针对不同消费偏好的用户群体，发送不同的推送文案等，这也是C端产品最为常见的模式。而要实现上述操作就需要有ABT系统和对应的分流系统，即实现人群分流。

6、特征分析

特征分析更多的是可视化的展现，针对特定人群进行特征展现，可视化是一个多变的工作，不同的呈现方式表达的内容都不一样，在这里不进行过多的讲述。现在做的比较好的可视化有echarts、阿里的Data-V等

三、智能运营

在用户增长已经到达一定峰值的情况下，运营的作用凸显重要，而基于数据实现智能精细化运营则是最大的催化剂。现存的DMP平台，可以看到最多的就是消息推送系统，当然消息推送是最能够触达用户的方式。而个人觉得，一个好的DMP的运营模块，应该不当当包含消息推送系统，还需要包含营销预测、活动管理、资源配置等服务。这一块自己的还有没有实际接触过完整的项目，所以只写一点自己的认知理解。现在在这一块做得比较好的是极光的消息推送

1、消息推送

A、概览：消息推送广义上指服务端主动发给客户端的消息，消息形态包括App Push、短信、微信通知、邮件等
B、组成：推送内容+推送条件+推送时机+推送人群，即把内容在合适条件下、合适的时间推给合适的人。
①推送时机：是指推送的时间分为定时推送、立刻推送、循环定时推送；
②推送人群：是指推送对象，分为基于用户分群定向推，基于指定UID/DID定向推
③推送内容：即推送后用户在App通知栏看到的消息标题、消息正文和点击后的落地页，其中标题和正文可以添加用户变量，用户接收到独有的个性化文案
④推送条件：分为手动和自动，事件规则是指基于App内产品逻辑，当用户满足预设的逻辑时自动推送
C、常见应用场景
①运营活动推广：创作大赛、热门优惠活动等
②紧急事项公告：特殊节日部分功能关闭、春节物流停运、紧急安全事项通知等
③App业务通知：青柠任务奖励领取、新用户奖励、关注主播开播、优惠券到期、购物车商品降价等
④离线聊天消息提醒：IM聊天离线提醒
D、监测指标：推送的有效用户数、下发成功数、到达数、展示数、点击数、到达率、点击率。标简单说明如下：
①有效可下发数：转化CID成功的用户数（非有效可下发的情况：用户ID无效、用户未绑定个推SDK、配置文件实效）
②下发成功数：成功下发到客户端设备的数量（非下发成功的情况：用户卸载APP、90天未登录、未联网）
③到达数：客户端返回接受成功的数量（非到达情况：客户端回执跨天或者回执数有遗漏）
④展示数：客户端展示的数量（非展示情况：用户关闭通知权限、厂商未开放接口回调）
⑤点击数：点击消息数量（非点击情况：用户不感兴趣忽略或者离线消息过期）
E、其他说明：
①目前支持离线通道下发的安卓厂商仅有VIVO、OPPO、华为、小米、魅族五个厂商，且这五个厂商有各自ROM版本和手机型号的要求。
②离线通道只是在线通道无法下发的补偿，用户手机不满足以上条件、或者长时间未登录、卸载App即使离线通道也无法触达，因此离线通道触达折损因素比较多。
③通常情况下push触达率和App日活正相关，但是第三发服务商有App联盟互相唤起的功能，有一定的效果。

2、营销预测

营销预测类的数据产品，更多的像是传统的CRM系统，能够实现对客户、订单等和公司营业额相关的模块管理，想之前工作经历接触过的是叫“特斯拉”的管理平台，实现对客户合同等相关的管理，能够对客户的订单相关信息进行数据化的管理，实现收益预测，营销策略制定等。
现在有专门的CRM产品经理，个人感觉这一块更多的已经隔离出数据产品的系列，但是如果能够将此模块集成到一个DMP系统上，打通各模块的数据链接，能够更好的实现数据驱动营销决策。神策的神策客景产品就类似这样的数据产品

3、运营资源管理和配置

运营资源管理和配置，是指能够实现对运营活动、运营管理、产品资源调度的平台。其实就是我们现在很多公司的运营活动管理后台，但现在的运管管理后台有个很大的弊端就是其与其他的数据类产品是隔离的，也不能很好的配置产品模块和用户、内容池。
一个真正的运营后台应该是能够实现个性化配置用户池、内容池和产品模块池的。比如：基于多个用户分群的池子和内容包圈选出来的内容池子，进行针对不同人群的运营活动前端资源位的配置以及对应文案的分流相关的处理

四、智能推荐

智能推荐的数据类产品，更多就是集成推荐算法模型，做到个性化配置商品和用户人群，实现千人千面的设计。推荐系统更多的是基于自己公司的情况进行开发设计的。在这里只写一些自己之前面试的时候被问到的一些关于推荐的点对应的知识的整理。

1、特征工程

特征工程一般包括特征构建、特征提取、特征选择三部分。 特征提取与特征选择都是为了从原始特征中找出最有效的特征。它们之间的区别是：
a) 特征提取强调通过特征转换的方式得到一组具有明显物理意义或统计意义的特征；
b) 特征选择是从特征集合中挑选一组具有明显物理意义或统计意义的特征子集。
两者都能帮助减少特征维度、数据冗余，特征提取有时能发现更有意义的特征属性，特征选择的过程经常能表示出每个特征对于模型构建的重要性。
特征工程的标准化流程主要分为以下几步：
（1）基于业务理解，找到对因变量有影响的所有自变量，即特征。
（2）评估特征的可用性、覆盖率、准确率等。
（3）特征处理：包括特征清洗、特征预处理、特征选择。
（4）特征监控：特征对算法模型的影响很大，微小的浮动都会带来模型效果的很大波动，因此做好重要特征的监控可防止特征异常变动带来线上事故

2、预测性建模的数据准备任务

① 数据清洗：识别和纠正数据中的错误。
② 特征选择：找出与任务最相关的输入变量。
③数据转换：改变变量的类型、尺度或分布。
举例：
a、规范化转换：将变量缩放到0到1的范围。
b、标准化转换：将变量缩放为标准高斯分布
④ 特征工程：从可用数据中推导新变量。
⑤数据降维：创建缩减数据维数的映射
举例：
a、主成分分析 (PCA)
b、奇异值分解 (SVD)

五、BI可视化

可视化的应用更多的是应用于数据大屏和BI数据看板，两者的侧重点不同，之前面试就被问过两者的区别。个人认知内的是如下情况

①数据大屏更多的是一个门面作用，即视觉呈现效果大于内容，逻辑流程大于业务指标定义，更多的是用于会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求，为了展示需求可能会进行数据脱敏、数据造假等二次数据加工，现有比较有名的数据大屏服务有阿里云的Data-V、百度的SUGAR等
②BI数据看板更多的是内部数据洞察，一般都是展示各个业务线和整个公司层面关注的一些指标维度，比如GMV、渠道转化这些。其更注重指标的真实性，不能进行任何数据造假。