CDP项目

CDP项目

说明：

CDP是（customer data platform）的缩写，译为客户数据平台。现在很多线下企业转型，都往线上发展，那么需要做到了解客户是谁，这似乎很简单，但客户与业务互动渠道的激增，使这个简单的目标变得极其复杂。因为每个部门的数据不同步，针对的对象不同，都有自己的应用场景。这些部门各自产生新的、孤立的、片面的客户数据，却无法快速同步，甚至团队之间还怀疑对方数据是否正确。因此，企业需要一个统一真实的数据源来描述客户，而不是任由客户的不同维度数据由不同部门各自存储。所以，客户数据平台（Customer Data Platform, CDP）获得越来越多的关注就不足为奇了。

定义：

CDP 的目标是汇集所有客户数据并将数据存储在统一的、可多部门访问的数据平台中，让企业各个部门都可以轻松使用。

特征：

数据流入：

CDP可以快速连接来自市场、销售、客服等各部门的各类数据源中存储的客户数据。不管是实名客户，还是匿名客户，都可以在CDP中根据业务定义得到合并。为企业提供了完整的、不断更新的客户画像，而不是流于表面的统计数据。

数据流出：

CDP有能力快速对接企业内外部的各种数据源，包括广告投放、CRM、客服系统、网站、微信、App、营销、大数据分析与BI等等。只有数据流动起来，CDP才能产生更大的价值。

业务驱动：

CDP是为业务人员驱动建立的，而不是IT人员。业务人员可以自行决定需要什么数据源、如何对用户打标签、把数据传递到哪些平台等等。CDP应该有极其简单的界面，业务团队可以直接在CDP上进行操作，而不是依赖于IT部门。

区别：

CDP与传统CRM和DMP的区别：

• CRM：传统的CRM或者会员系统是用来和客户进行交互的，只基于很少量的历史数据来构建客户画像。CRM管理最多的是已购买的实名客户，但匿名客户的行为难以识别并且获得洞察。同时，传统CRM的设计目的不是从各类数据源吸收大量数据，因为它一般比较封闭，从外部系统获取数据的成本较高。但是CDP可以连接到各种类型、各种来源的客户数据。这些数据可以是内部数据，也可以是外部数据；可以是结构化数据，也可以是非结构化数据；可以是实时的，也可以是非实时的。这种连接的能力，可以让企业对客户情况有一个更快更全面的理解，并且及时做出反应。
• DMP：DMP的设计目的是为广告提供服务，尤其是通过Cookie实现重定向广告。但是在DMP中，大部分信息是匿名的，而且会在cookie生存失效（一般90天）后过期。CDP的设计目的是建立持久的客户记录，这意味着它存储数据并保留历史记录。然后, 将其与客户所有数据结合使用, 即可得到一条记录。相较DMP，CDP会同时关注匿名客户与实名客户，客户的信息也会更细致。
  想了解DMP项目的可以出门左拐看看我关于DMP项目的描述------>DMP项目链接。

效益：

真正的客户全景画像

CDP整合集成了企业在每个渠道上和客户交互的第一方数据，从移动到 WEB、POS系统、到后端ERP、支付服务、再到客服系统、甚至CRM，企业拥有一个持续更新的客户全景画像，并且基于这个画像灵活制定各种营销策路。

更能打动人心的客户旅程

客户与企业的互动分散在各种不同的触点，需要使用不同的工具。CDP可以将各个工具串联起来，业务人员可以自行在CDP客户旅程配置的可视化界面上，更快捷地制定出符合客户需求的客户旅程。

客户数据的单一真实来源（Single Source of Truth）

CDP作为客户数据的单一真实来源，在整个组织中强制执行通用的数据标准，保证数据是正确、一致且符合内部隐私和安全策略的，并且这些数据可以被传递到企业业务团队使用的任何工具中去。CDP可以帮助企业业务团队更快地使用新工具, 并使每个团队成员能在统一的客户数据库中工作。

实现：

1.数据接入：
从各部门将特征化数据同步到CDP项目数据端，然后进行数据清洗，规整，入库。
涉及到的相关技术有：

• DataX：阿里的数据同步工具，支持在阿里的环境来进行格式化数据的互道。
  这里主要是把各部门的历史数据同步过来，做数据分析和清洗。
  这里举个MongoDB到结构化数据库的例子，因为这个是脚本形式，其他的结构化数据库互导只需要配置即可。

{
    "type": "job",
    "steps": [
        {
            "stepType": "mongodb",
            "parameter": {
                "datasource": "mongo_order",
                "query": "{receivingTime:{$gte:'${order_date_before} 05:00:00',$lte:'${order_date} 04:59:59'}}",
                "column": [
                    {
                        "name": "_id",
                        "type": "ObjectId"
                    },
                    {
                        "name": "orderNo",
                        "type": "String"
                    },
                    {
                        "name": "classExtId",
                        "type": "String"
                    }
                ],
                "collectionName": "t_order_product"
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "odps",
            "parameter": {
                "partition": "ds=${bizdate}",
                "truncate": true,
                "datasource": "odps_first",
                "column": [
                    "id",
                    "orderno",
                    "classextid"
                ],
                "emptyAsNull": false,
                "table": "mg_t_order_product"
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "version": "2.0",
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    },
    "setting": {
        "errorLimit": {
            "record": ""
        },
        "speed": {
            "throttle": false,
            "concurrent": 4
        }
    }
}

• SparkStreaming：这是数据实时流，主要是是把线上、线下order表和order_detail这种实时产生的数据，导入到cdp的表里（作此说明：之后说道的CDP都指CDP项目的整体，不单指某一个模块），因为这种数据实时性较高，在实时营销这一模块里需要针对某个活动生成实时报表。
• Sqoop：这个是大数据平台里面的一个由Apache提供的数据导入、导出的工具。相关资料可以看我之前的一片关于sqoop的博客

2.数据分析：
数据统一接入AnalyticDB（阿里的分析型数据仓库，想了解的可以点击了解，之后就简称ADB），在数据进入数据仓库后，就开始是数据接入开发，简而言之就是数仓的搭建，这里我不过多说明，想了解的可以去看另一个我收藏的博客------>数据仓库
数仓搭建完成之后数据被分为了四层：ODS（临时存储层）、PDW（数据仓库层）、MID（数据集市层）、APP（应用层）
后续的工作就是根据业务需求，针对不用的场景，对数据进行分析，规整，落地。这里简单的针对系统做个简单的介绍，系统分为CRM平台和运营平台。
这里先介绍CRM平台
1.首页：会员信息展示

这里主要是针对会员数据做一个展示，大概观察近期会员活动情况
2.标签

这里则是根据数据分析，对会员打上标签，服务于下面的营销，从而体现数据价值，这里也不过多的介绍，很多东西都涉及到公司机密。
再就是运营平台


这个平台则是控制标签的下发，营销活动的开启，分组运算等一系列后台操作的动作，也不做详解，有意想学习更多的朋友，可以私下给我发消息。

这里系统讲解的过于简单，但是其中还是涉及到很多前沿技术和学术思想（机器学习，模型训练，RFM标签…等），更多的东西我会在后续时间写进博客，有兴趣的朋友可以多来看看，毕竟博主是个技术员，语言表达着实有点欠缺。