本文将与大家分享淘宝客户运营平台——聚星台的技术架构,以及个性化访客运营算法技术和个性化营销算法技术,以及其中运用的深度学习和在线学习算法实践。
直播视频:点此进入
PDF下载:点此进入
本次分享主要分为四个部分
- 聚星台(客户运营平台)介绍
- 个性化访客运营(千人千面)算法技术
- 个性化营销算法技术
- 总结
背景介绍
今年阿里巴巴有一个非常重要的战略叫“ 客户运营”,那么为何阿里要带领商家从流量经营转向客户运营呢?其后的大背景又是什么呢?![3d8664d39b37711fa312048ef36a540602271a1c](https://i-blog.csdnimg.cn/blog_migrate/9730f50abfbe7a09ba45a5de02608bfe.png)
先看两组数据,左图在宏观层面反映了消费者的无线化已经完成,活跃用户量从2014年的2.17亿增长到了2016年的4.27亿,于此同时无线端的成交占比从不足40%增长到如今的75%,这些数据说明我们已经到达无线化时代。在无线化的过程中,大家通过无线端进行网购的频率和时间都有大规模的增长,带来了一大波流量红利,但是随着无线化的完成,红利也变得越来越小。进一步从微观层面来看,从2013-2016年某品牌旗舰店访客增长率数据可以看出,伴随着无线化的收尾,店铺流量的增长速度呈现逐步放缓的趋势,可以预期未来访客增长率将会逐步下降。
在这样的一个大背景下,商家应该如何去调整自己的经营思路,来保持业务持续增长?阿里巴巴给出的策略是要对现有流量进行精细化运营。那么又如何进行精细化运营呢?其实需要按照客户进行细分,对不同的客户采取不同的运营策略,从而提升运营效率。同时也应该关注客户的长期体验和客户忠诚度,从而提升整个电商平台的客户与商家关系水平。这就是客户运营的主要理念。
对比一下从流量经营到客户运营的两种不同思路。
对于流量经营而言,其经营目标是为了短期卖货,其采取的典型策略有:标题优化,比如优化宝贝的标题从而提升在搜索中的排序,来获得更多的流量;爆款打造,也就是打造爆款商品为店铺引流;另外还有流量采买,比如通过直通车或者段展这样的方式去购买站内或者站外的流量。
而客户运营的经营目标是进行精准转化,将商品精准地推荐给相应的客户群体,从而提升转化效果,同时关注客户的体验和忠诚度,从而提升商家的长期竞争力。典型策略有:访客千人千面、个性化营销、粉丝精准互动、粉丝活跃度管理以及会员忠诚度管理等。
聚星台(客户运营平台)介绍
聚星台是阿里巴巴最新推出的大数据驱动智能客户运营平台,从概念上而言可以称之为Digital CRM。传统CRM主要侧重于购买关系的管理,典型功能包括:销售管理,客户管理,客户服务,营销等。而传统的CRM能够触及的人群比较狭窄,近几年比较流行的是随着社交网络的兴起的Social CRM模式,其侧重点在于粉丝运营,粉丝营销和社会化传播,弱点在于成交转化能力比较弱。聚星台则是基于在线电商的用户识别能力,对包括访客在内的所有客户进行运营的平台。
聚星台的概念模型主要包括四个层面。第一层面:数据,通过数据可以使商家更好地了解客户,同时实现人群的细分。数据部分包含两个产品:客户中心,主要进行标签管理和用户群定义;以及御膳房,通过开放的方式使得商家可以通过阿里巴巴的大数据加工个性化标签。第二层面:决策,有了对客户的理解和洞察之后,商家可以进一步作出运营决策,所谓运营决策就是将细分的人群和精准的内容进行关联,这就是决策中心所要完成的任务。第三层面:互动,包括了各种互动玩法和基础的权益内容,包括会员中心、营销中心和权益中心。第四层面:通道,包括店铺、商品详情、微淘以及旺旺这些私域的流量通道,也就是商家可运营的消费者端的产品。最终将触达消费者。
从聚星台的产品架构上讲,聚星台则分为三层架构。
最上面是面向业务的产品,包括千人千面的访客运营,面向粉丝和会员的会员运营,以互动传播,分享引流为目标的营销产品以及打通公域和私域的全域营销产品,这些都是聚星台的业务产品层。
中间的是聚星台的功能引擎层,核心包括客户数据引擎和客户策略引擎,以及在此之上的五大产品中心:客户中心、策略中心、营销中心、会员中心和权益中心,以及开放平台。
个性化访客运营(千人千面)算法技术
个性化访客运营用一句话概括就是:面向商家私域流量的,商家可参与、可运营、效果可感知的千人千面算法应用。
技术上与公域的千人千面对比就可以更深刻地体会到聚星台的个性化访客运营与之前的个性化推荐的主要差异。首先,公域场景下基于全网的精选商品去做个性化推荐,比如手淘的猜你喜欢或者有好货里面的个性化推荐,因为基于全网的数据,所以数据非常丰富,另外由于不区分店铺,将所有店铺整合到一起形成虚拟超级店铺,这样一来其实完成的是超级店铺内部的个性化推荐。而私域的场景则是基于单店商品,单店情况下,用户行为数据与全网相比是稀疏的,另外需要服务于千万级不同规模店铺,因为不同的店铺归属于不同行业,具有不同规模以及不同的数据量,所以个性化运营算法面临的核心挑战是如何适应不同店铺的情况并且达到较好的转化效果。
对于个性化访客运营而言,首先要提到个性化店铺首页,也就是针对不同人群设计不同首页页面,即页面级的千人千面。原本的个性化模块有很多限制,比如风格单一,效果提升空间受限,所以品牌商家采用率低,而页面级的千人千面则可以针对人群对页面进行装修,这样一来效果提升空间大,品牌商家接受度会更高。
对于页面个性化运营而言,产品路径分为几个阶段:分别是选择标签、定义人群、设计页面和策略投放,并且将根据反馈不断优化运营策略。算法设计贯穿整个产品链路,选择标签部分有算法标签和标签推荐,定义人群方面则是通过算法进行人群透视和人群诊断,而在设计页面部分选品助手会帮助商家进行推荐选择以及策略诊断,以及最后的策略投放阶段进行实时算法分群和效果反馈诊断。
个性化访客运营的店铺首页的算法体系分为两个部分,第一个部分是商家端决策支持,包括人群决策,人货匹配和页面设计这三个方面;另一部分叫做消费者端的实时分群策略,其主要是根据用户的偏好和意图对访客进行实时分类,典型的可以基于用户偏好或者基于商家自定义的商品分组对访客进行分群,另外也提供了像基于访客购买力预测或者访客生命周期预测的算法分群策略。
算法分群策略概念
- 分群方法:基于实时商品分组、品类等维度定义标签,算法实时预测匹配分群
- 灵活性:实时分群策略可与普通标签交叉使用
- 可理解:实时分群策略可透视
对于实时算法分群策略而言,其概念就是访客在进入店铺,浏览商品或者其他访问私域流量时,系统将根据一定的维度对访客进行分类,比如根据偏好的某一个维度对客户进行细分,形成对于客户的实时分类。
整个算法体系分为三个部分:
- 行业级别的模型,GBDT在线打分排序,因为同一特征在不同行业可能具有不同的重要性,比如地域特征在护肤品上的区分度比较强,但是对于类似咖啡一类的快消品则不然。
- 长期+近期+实时偏好相结合,这样一方面可以捕获客户的实时的意图,另一方面兼顾模型的稳定性和对人群的覆盖程度。
- 店铺级别的自动可调整算法超参数(基于多臂老虎机算法),这主要是为了适应不同店铺的情况,使之都能达到一个比较良好的效果。
算法流程
算法策略相比基础策略有一定的优势。
前面讲到,千人千面的访客运营有一个很重要的问题是:算法如何去适应不同的情况从而达到较好的效果。我们探索出了基于增强学习的商家级别阈值自适应算法,也就是说同样的算法模型在不同店铺使用的过程中有一些可调节的参数,称之为超参数,其是通过增强学习的方法对于超参数进行调整的。其背后思想称为多臂老虎机算法,源于博彩领域的理论,在不确定的环境下,如何做出决策,从环境的反馈不断调整优化模型达到最佳的效果。我们的做法是对于每一个超级参数按照一定的步长采样,得到一些可选的取值,在初始化阶段对于每一个可选取值进行试验得到Reward(初始效果数据),以Reward最大的值作为初始值,在此基础之上不断进行阈值调整,然后观察阈值调整之后的效果变化情况,然后根据调整的效果对于调整方法做出修正。最终随着时间推移,将得到较好的参数设置,达到较好的效果。
由于成本问题,页面级的千人千面更加适用于具有一定规模的商家,而对于中小商家则更适用于店铺模块级的千人千面,而对于模块级的千人千面的算法也是在两个方面为商家和消费者提供算法能力。在商家端将通过算法面向运营场景自动挖掘适合的商品池,比方说对于新客户将主推热销款,而对于老客户可能主推有潜力的新品,或者根据季节选择主推商品,这些称之为智能场景化商品池,在通过算法计算出商品池之后,商家还可以进行编辑和运营。
在消费者端则是根据消费者细化的特征,来进行个性化的模块内的商品排序,在这里也实现了多模块的疲劳度控制,从而实现全局的效果优化。
接下来介绍模块级千人千面的算法框架,整个算法框架分为三个主要部分:
- 可插拔的 matching 框架,用户偏好意图的高覆盖度。
- Ranking框架,用户偏好意图的精准匹配。
- 多样性框架, 综合多个属性维度,实现精准性与新颖性的权衡。
matching层
在matching层实现了大规模图算法,基本思想是以商品作为图的结点,以用户行为序列中商品的共性关系来构建图的边,根据行为的类型以及贡献的次数等因素决定边上的权重。举个例子,假如x1和x4是两个商品,用户同时浏览x1和x4,这时就可以在这两点之间加一条边,如果有很多用户都同时浏览了x1和x4,那么这条边的权重就比较高,通过这种方式将可以构造大规模图模型。这样的图可能包含亿级的结点和百亿级的边,对于这样数据,可以在3小时内完成算法运算。在其中有淘宝自主研发的Graph Conduction也有改进的Simrank/Simrank++系列算法,可以支持不同的图表示,比如有向带权图,无向无权图以及无向有全图,我们的算法框架可以支持不同的图类型并且效率非常高,比如创新的Simrank/Simrank++系列算法实现,是业界已知的最高效率。![973e453aabed8aab424ee68674c1732b1b9bf621](https://i-blog.csdnimg.cn/blog_migrate/34ddb8c2a252ad0fe525388cf1f25c3c.png)
在matching方面除了实现了大规模图算法之外,也实现了基于Hashing和Graph Embedding的算法。
在Ranking层面也有很多算法,比如说基于分布式GBDT算法特性实现了排序的算法框架,其可以支持多样化的排序模型,并且实现了数据并行和模型并行,按照这两个维度进行拆分并行度将变得非常高,对于模型也进行了调优,建树过程引入随机特征选择降低Variance,也可以支持多目标优化,可同时优化两个不同目标,比如同时优化点击率和客单价,还支持多种特征类型,也友好地支持CTR/CVR预估类输入以及离散特征抽取的应用场景。
性能测试
随着并行度的提升,用时将大幅下降,加速比接近线性。
原理:对每个样本求其负梯度,通过决策树拟合负梯度,并且支持一些排序学习算法。
在Ranking部分也将深度学习技术应用到算法框架中,研发了分布式深度学习算法DBN-DNN,DBN将通过分层预训练初始化深度神经网络,在预训练的基础上只需要根据有监督的数据做一些精细化调整达到比较好的模型效果。
另外我们也尝试将CNN应用到点击/转化预测应用上,做法是将原本的连续值的训练数据做离散化,然后将这些特征转化为0-1的位图数据,将原始数据转化为图像数据,基于CNN的框架训练模型,之后基于该模型做算法预测。
在Ranking的第三方面,我们引入了在线学习去优化排序算法,这使得模型可以实时更新。大背景是在电商平台上经常会有一些运营活动,比如店铺的运营活动,这样的活动会改变流量的分布,所以此时也需要使模型进行实时更新从而适应数据分布的变化,方法就是引入了实时特征和在线实时更新去满足消费者的实时偏好来更好地捕捉线上流量变化。当然其中有很大的挑战就是算法架构如何设计,因为实时数据量是非常大的,一天的消息量会达到几十亿,还有就是保证模型的鲁棒性。所以实现的算法架构是基于流式计算的,具有秒级模型更新,离线模型与模型在线更新相结合和模型稳定性调优的特点。
个性化营销算法技术
所谓个性化营销是指的针对不同关系类型的用户进行精准互动,从而提升商家与客户关系的水平,并且使得商家从此关系中持续获得回报。这些关系是多样的,比如加购关系,购买关系以及微淘粉丝关系。这里的要点是如何将弱关系转化为强关系,比如将加购关系转化为购买关系进而转化为具有忠诚度的会员关系,挖掘粉丝的价值等等。总的理念是:数据让链接更有价值。
案例1:购物车营销
主要是根据加购前和加购后的用户行为对算法框架进行设计的,并且使用算法的日营销转化增量占比总增量36%。
案例2:粉丝&会员运营算法
对于粉丝和会员做产品营销,会有粉丝的洞察,创建个性化营销活动,最后商家可以去查看运营效果数据。商家可以不断积累经验,提升运营效果。在这里将会对于不同人群使用不同的个性化营销算法。
总之整个个性化营销的目的是提升客户和商家的关系以及帮助商家如何从关系中精准地获取回报。
聚星台个性化运营算法业务:算法架构
聚星台的算法架构主要分为三层:
- 离线算法,时效性要求最低,可以使用长周期数据做复杂计算,运行复杂模型,离线的结果包括模型和特征会同步到在线存储。
- 近线算法,主要基于用户的实时的行为数据对特征和模型进行实时更新,时效性要求在分钟级或者秒级,将时间和计算复杂度进行权衡。
- 在线算法,对响应要求最高,时效性要求在毫秒级整体上包含两个部分,一部分用于商家端进行商家设置,另一部分则是消费者端的投放算法服务,其将受到商家设置的影响,从而形成算法闭环。
总结
这些算法将会应用在今年双十一实战中,大家敬请期待。