百度爱番番实时CDP平台架构实践

最新推荐文章于 2024-07-25 18:59:01 发布

cangchen

最新推荐文章于 2024-07-25 18:59:01 发布

阅读量1.6k

点赞数

文章标签： big data 数据分析数据挖掘 flink kafka

本文链接：https://blog.csdn.net/cangchen/article/details/123108404

版权

导读：随着营销3.0时代的到来，企业愈发需要依托强大CDP能力解决其严重的数据孤岛问题，帮助企业加温线索、促活客户。但什么是CDP、好的CDP应该具备哪些关键特征？本文在回答此问题的同时，详细讲述了爱番番租户级实时CDP建设实践，既有先进架构目标下的组件选择，也有平台架构、核心模块关键实现的介绍。

全文19135字，预计阅读时间26分钟

一、CDP是什么

1.1 CDP由来

CDP（Customer Data Platform）是近些年时兴的一个概念。随着时代发展、大环境变化，企业在自有媒体增多的同时，客户管理、营销变难，数据孤岛问题也愈发严重，为了更好的营销客户CDP诞生了。纵向来看，CDP出现之前主要经历了两个阶段。CRM时代，企业通过电话、短信、email与现有客户和潜在客户的互动，以及执行数据分析，从而帮助推动保留和销售；DMP阶段，企业通过管理各大互联网平台进行广告投放和执行媒体宣传活动。

CRM、DMP、CDP三个平台核心作用不同，但纵向来对比，更容易理解CDP。三者之间在数据属性、数据存储、数据用途等方面都较大差异。

有几个关键区别如下：

1.CRM vs CDP

客户管理：CRM侧重于销售跟单；CDP更加侧重于营销。

触点：CRM的客户主要是电话、QQ、邮箱等；CDP还包含租户的自有媒体关联的用户账号（例如，企业自己的网站、app、公众号、小程序）。

2.DMP vs CDP

数据类型：DMP是匿名数据为主；CDP以实名数据为主。

数据存储：DMP数据只是短期存储；CDP数据长期存储。

1.2 CDP定义

2013年MarTech分析师 David Raab首次提出CDP这个概念，后来其发起的CDP Institute给出权威定义：packaged software that creates a persistent, unified customer database that is accessible to other systems。

这里面主要包含三个层面：

Packaged software：基于企业自身资源部署，使用统一软件包部署、升级平台，不做定制开发。

Persistent, unified customer database：抽取企业多类业务系统数据，基于数据某些标识形成客户的统一视图，长期存储，并且可以基于客户行为进行个性化营销。

Accessible to other systems：企业可以使用CDP数据分析、管理客户，并且可以通过多种形式取走重组、加工的客户数据。

1.3 CDP分类

CDP本身的C（Customer）是指all customer-related functions, not just marketing。面向不同场景也对应不同类型的CDP，不同类别的CDP主要是功能范围不同，但是类别之间是递进关系。

主要分为四类：

Data CDPs：主要是客户数据管理，包括多源数据采集、身份识别，以及统一的客户存储、访问控制等。

Analytics CDPs：在包含Data CDPs相关功能的同时，还包括客户细分，有时也扩展到机器学习、预测建模、收入归因分析等。

Campaign CDPs：在包含Analytics CDPs相关功能的同时，还包括跨渠道的客户策略（Customer Treatments），比如个性化营销、内容推荐等实时交互动作。

Delivery CDPs：在包括Campaign CDPs相关功能的同时，还包括信息触达（Message Delivery），比如邮件、站点、APP、广告等。

Campaign CDPs、Delivery CDPs两类较Analytics CDPs多出的功能，在国内更贴近MA（Marketing Automation，营销自动化）。本文所讲的CDP从提供的功能范围来说，属于Analytics CDPs。在爱番番也有专门的MA系统，本文的CDP为其提供数据支撑。

二、挑战与目标

2.1 面临挑战

随着营销3.0时代的到来，以爱番番私域产品来说，主要是借助强大的CDP为企业提供线上、线下数据的打通管理的同时，企业可以使用精细化的客户分群，进行多场景的增育活动（比如自动化营销的手段，节假日促销通知，生日祝福短信，直播活动等等）。更重要的是，企业可以基于纯实时的用户行为进行更加个性、准确、及时的二次实时营销，帮助企业加温线索、促活客户，提升私域营销转化效果。那如何做好实时CDP（Real-Time CDP，缩写为RT-CDP）驱动上层营销业务，面临诸多挑战。

【业务层面】

1.企业数据渠道多，数据形态各异

一个企业除了官网、文件、App、自有系统，还包括目前众多的企业自有媒体（比如微信公众号、抖音企业号、百家号、各类小程序等）等各种场景的数据结构不统一，如何高效接入企业数据到RT-CDP？这也是成千上万的企业主们在客户数据融合的课题上亟需解决的系统化问题。

2.不同生态无法打通，无法360度洞察用户

数据分散导致难以识别唯一用户身份，无法建立全面且持续更新的用户画像，导致对用户的认知碎片化片面化，洞察不足。比如在实际营销场景下，企业期望对同时访问官网和其小程序的同一用户发放优惠券促活时，但因为一个人的行为以不同标识分散在各渠道数据中，无法进行跨渠道用户行为分析，也就无法实现企业诉求。

3.人群划分规则复杂

我们不同企业的业务是不同的，所以我们可以根据业务特点，为不同的客户打上个性化的标签，比如企业进行营销活动时，想给经过迭代旅程节点的用户、参与某个直播等等的打上不同场景的标签，这样才能对不同的人群进行细分，做更精细化的营销。

4.如何用一个平台服务好B2B2C、B2C两类企业，行业可借鉴经验少

爱番番的客户涉及多类行业，有的B2C的也有B2B2C的。相对与B2C，B2B2C的业务场景复杂度是指数级上升。在管理好B、C画像的同时，还要兼顾上层服务的逻辑里，比如身份融合策略、基于行为的圈选等。另外，在许多业务场景也存在很多业务边界不清晰的问题。

【技术层面】

1.全渠道实时精准识别要求高

当今时代一个客户行为跨源跨设备跨媒体，行为轨迹碎片化严重。如果企业想营销效果好，精准、实时识别客户、串联客户行为轨迹是重要前提。那如何在多源多身份中做到高性能的实时识别也是个很大挑战。

2.需要具有实时、低延迟处理海量数据的能力

现在客户可选择性多，意向度不明确，基于客户行为实时营销，以及基于客户反馈的实时二次交互是提高营销效果的关键，比如企业营销部门群发一个活动短信，客户点没点，点了有什么样进一步的动作，代表着客户不同的意向程度，企业营销、销售人员需要根据客户动作进行及时进一步的跟进。只有实时把握这些变化，才能更高效地促进营销活动的转化。如何实时处理海量数据驱动业务？

3.需要可扩展的架构

在多租户背景下，爱番番管理数千、万中小企业的海量数据。随着服务企业数量的不断增加，如何快速不断提升平台的服务能力，需要设计一个先进的技术架构。另外，如何做到高性能、低延迟、可伸缩、高容错，也是很大的技术挑战。

4.多租户特性、性能如何兼顾

爱番番私域产品是以Saas服务形式服务于中小企业，那一个具备多租户特性的CDP是一个基本能力。虽然中小企业客户一般十万、百万量级不等，但随着企业进行的营销活动的累增，企业的数据体量也会线性增长。对于中大企业来说，其客户量级决定了其数据体量增长速度更快。另外，不同企业对于数据查询的维度各异很难做模型预热。在此前提下，如何兼顾可扩展性、服务性能是个难题。

5.多样部署扩展性

CDP目前主要以Saas服务服务于中小企业，但不排除后续支持大客户OP部署（On-Premise，本地化部署）的需求，如何做好组件选型支持两类服务方式？

2.2 RT-CDP建设目标

2.2.1 关键业务能力

经过分析和业务抽象，我们觉得，一个真正好的RT-CDP需要做到如下几个关键特征：

灵活的数据对接能力：可以对接客户各种数据结构多类数据源的客户系统。另外，数据可以被随时访问。

同时支持 B2C和B2B两类数据模型：面向不同的行业客户，用一套服务支撑。

统一的用户、企业画像：包含属性、行为、标签（静态、动态（规则）标签、预测标签）、智能评分、偏好模型等等。

实时的全渠道身份识别、管理：为了打破数据孤岛，打通多渠道身份，是提供统一用户的关键，也是为了进行跨渠道用户营销的前提。

强大的用户细分能力（用户分群）：企业可以根据用户属性特征、行为、身份、标签等进行多维度多窗口组合的用户划分，进行精准的用户营销。

用户的实时交互、激活：面对用户习惯变化快，实时感知用户行为进行实时自动化营销能力尤为重要。

安全的用户数据管理：数据长期、安全存储是数据管理平台的基本要求。