电商技术经过多年发展,在国内外市场都有了不同的技术路线,数据、算法、前端……各有千秋,但核心玩法却万变不离其宗。对于从事互联网,尤其是电商相关平台的技术、管理以及运营同学来说,找到一个体系完善、干货满满的分享是件收益很大的事情。
作为互联网从业者,在看过不少大厂的相关技术分享后,今天给跨境电商感兴趣的同学推荐一期Lazada的【技术开放日】,看过之后会更深入理解技术如何最大程度赋能业务,领会技术工作意义所在。
Part I Lazada是谁?
东南亚领先的电子商务平台
说起Lazada,很多互联网尤其是电商领域的同学都不陌生,这是一家成立于2012年的东南亚电子商务平台。他们的愿景很清晰,通过商业和科技促进印度尼西亚、马来西亚、菲律宾、新加坡、泰国和越南六地的电商市场发展。
经过近十年快速发展,Lazada已经建起了东南亚覆盖最广的物流网络和领先的支付体系(这一点和国内的淘宝与京东相似),目前已成为东南亚网购消费者日常生活的一部分。Lazada自2016年起并入了阿里巴巴集团,成为旗下东南亚旗舰电商平台,在阿里巴巴的支持下深耕技术创新。据了解,Lazada是东南亚为数不多的以技术驱动业务的一家公司,管理层清晰地指出技术和物流是该电商平台核心竞争力,直接促进甚至是引领业务增长。
查阅资料看到,Lazada目前已服务超过1亿名年度活跃消费者,截至2021年6月30日止的最新季度,Lazada订单量同比增长超过90%,持续保持高速增长态势。
技术为帆,纵横四海,这是Lazada在技术领域提出的理念。和东南亚大多数纯业务型的公司不同,Lazada 以技术驱动业务,凭借在科技、物流、支付领域构筑的技术护城河,带动了东南亚的数字经济发展。
为了对外分享 Lazada 先进技术理念与应用成果,Lazada 技术开放日旨在促进品牌与技术人才、行业伙伴、相关学术和产业研究机构之间的交流沟通,共同推动行业技术创新与生态发展。Lazada 始终为优秀技术人才提供持续成长平台,共享前沿技术,共促行业演进。
Part II Lazada技术分享
针对【技术开放日】,这里基于我看过的几个话题简单给大家做一些介绍
对大促时流量高峰的处理问题——大促压测与大数据平台
从国内的双11、618诞生以来,大促流量挑战就是一个电商平台要面临的最大问题之一。每年成交额不断突破的背后,都是线上流量的暴增所带来的挑战,在东南亚电商场景中,同样存在这个问题。Lazada是如何解决这个问题的?答案是精准压力测试。
简单来说,就是尽可能模仿真实的高峰流量,考验系统的性能并发现问题,在真实场景到来前排除尽可能多的风险。在结合淘系的技术体系后,Lazada自2018年开始就进行了持续的改造升级,主要集中在压测模型产品化、压测链路自动化、压测运行常态化,并保证整体压测域的稳定效率。
从模型评估的数据和验证,到压测工具的构造,都进行了针对性优化,解决了压测中常见的业务复杂度高、成本难降、低耦合的问题。
由于压测不是我的专业方向,这里不做更具体的深入~大家感兴趣的话可以在Lazada技术开放日的回放中看到更多细节:https://www.infoq.cn/video/tiFA7qzEMWs8J68LEpaN?utm_source=album_info&utm_medium=video
云上电商——关于云原生架构的探索
什么是云原生架构?
云原生的概念最早开始于 2010 年,在当时 Paul Fremantle 的一篇博客中被提及,他一直想用一个词表达一种架构,这种架构能描述应用程序和中间件在云环境中的良好运行状态。因此他抽象出了 Cloud Native 必须包含的属性,只有满足了这些属性才能保证良好的运行状态。
后来到 2013 年 Matt Stine 在推特上迅速推广云原生概念,并在 2015 年《迁移到云原生架构》一书中定义了符合云原生架构的特征,到了 2017 年, 云原生应用提出者之一的 Pivotal 在其官网上将云原生的定义概括为 DevOps、持续交付、微服务、容器四大特征,这也成了很多人对 Cloud Native 的基础印象。
- 基于容器、服务网格、微服务、不可变设施和声明式 API 构建的可弹性扩展应用
- 基于自动化技术构建具备高容错性、易管理和便于观察的松耦合系统
- 构建一个统一的开源云技术生态,能和云厂商提供的服务解耦
基于这套架构理念,Lazada云原生的特性可以概括为以下4点
- 隔离性:交付过程隔离、容器运行隔离
- 自动化:应用生命周期与业务&容器生命周期一致
- 不可变性:镜像配置分离,比如时区\JVM参数
- 声明式编排交付:基于OAM定义的标准模型,提升交付灵活性
Lazada如何通过原生架构解决问题?
Lazada在云原生的体系下,发展出了一套高效可行的架构服务,具体地,基于核心Gitops来完成“一切皆镜像”的开发,贯穿研发态、部署态、运行态和运维态,让容器高效支撑能力下沉。
以研发态为例,Lazada的云架构团队基于容器编排,实现了容器高效调度、可伸缩、高可用的标准,同时基于Mesh化技术,完成精准流量控制,并保证了透明安全的底层逻辑。最后通过Baas化完成了整体流程的自动化部署、运维和安装。
而通过4个中间态的整合,Lazada已经开启了全面云原生的时代,简单来说,就是包括面向云原生的DevOps平台、业务架构以及基础架构在内的整个技术体系。也为整体的企业发展提供支撑。
算法赋能——从搜广推到用户增长(重点)
在电商场景中,我个人最关心的是算法系统的构建。这方面Lazada的技术分享中有非常清晰的架构讲解。从底层到业务,从产品的定价、推荐、营销和支付链路,算法系统在整个Lazada的东南亚市场发展中扮演了极其重要的作用,让整个平台更加智能化,符合用户需求,减少用户使用和理解成本,最终使得商家与平台的利润都实现了最优化。
广告与算法平台架构
作为技术分享的核心,Lazada的自研广告算法平台Phoenix基于阿里AI的架构对标,让整体的搜广推可以更方便地实现和部署在电商系统上,从算法底层支持核心功能。比如,上层的营销场景升级,驱动“货找人“而不是”人找货“,最大化推荐系统的功能和商品曝光广度。
这方面,Lazada提出了One BP和One Engine的设计理念,即为顶层的统一广告平台和统一引擎框架,符合高耦合低内聚的设计原理,为客户提供一致的操作体验,也能高效解决东南亚电商所面临的不同算法场景问题。
整体系统的核心其实还是基于阿里最为成熟的AIOS体系构建的,这是阿里通过深厚的算法积累历经10年所打磨的可用性极高的稳定算法架构。具体地,这套架构基于底层资源调度Hippo、在线大数据在线框架Suze、以及包括Proxima、IndexLib向量检索引擎、高性能分布式存储Igragh等的细分模块,共同构建起整个阿里海内外电商的算法核心。
此外,针对国际业务的特殊场景挑战,比如多流量下的数据稀疏问题、不同语种训练数据的分布问题,Phoenix都通过完整的分层架构实现了不同的用户可以被最优满足。
电商平台搜索算法:找你所需,算法先行
搜索与推荐一直是电商平台的核心,搜索让用户更高效地触达商品并完成转化,解决“主观意向“型用户的购买链路,而推荐则是让商品更精准的推送到每个用户,实现”被动意向“型用户的购买链路。
基于前文所讲的AIOS架构,Lazada的搜索算法实现了精准的用户Query识别,通过向量检索进行召回,然后利用样本重构与语言联合训练,基于线上实时特征进行多语言复杂环境下的重排序,本质上解决了一个NLP的经典问题——如何在稀疏样本中做模型的训练与拟合。
通过不同技术方案,比如建模图片与文本之间的关系,Lazada构造了基于东南亚场景的特殊知识图谱体系。得益于此,Lazada的搜索算法可以对更加困难的样本进行精准识别与List-wise排序(主要考虑位置偏差、样本稀缺和样本空间过大的问题),基于Attention、位置偏差建模、评估解耦合等优化方式,完成了搜索系统的高效设计。
用户增长算法:打破常规,扩大流量池
除了搜推,电商最重要的一点——流量增长,也决定了电商平台的整体发展。而在Lazada的分享日中,用户增长算法也是最为核心的一个环节。分别包括了
- 人群算法
- 创意算法
- 投放算法
- 承接算法
通过人群算法,比如item2vec向量召回和转化模型排序,对用户画像进行定位和细分,通过外部渠道、端内运营和投放,完成对新增用户的寻找和定位。此外,结合创意生成+渠道投放,在Facebook、Google、Amazon上进行对应投放与曝光,此时创意算法(CAC/CPB、SEM广告词优化)和投放算法(Uplift Score),就可以更好地吸引用户注意,增加用户点击的概率。
最后,在引承一体算法上,通过多模态召回+意图判断,基于FashionBERT模型,让新增用户在进入Lazada后可以更好地完成需求满足,并最终发生转化,成为有效的留存流量。而针对稀疏行为用户的推荐,Lazada也开发了相应的HIM混合兴趣模型,使用聚类兴趣表达弥补个性化特征表达的不足,充分提升了特殊用户场景下的转化效率(UCT/CVR、Buyer指标)
虽然国内外的电商技术由于地域、文化差异会有不同,但在技术路径探索上,Lazada所表达的认真、探索和实践精神值得我们学习。
最后,回到东南亚市场,我们可以发现一件事:因为互联网发展较慢,很多东南亚用户和商家仍然保持着比较原始的市场效率,同时整个电商市场的基础设施落后,得不到充分发展。
Lazada作为行业开拓者,没有前人经验可用。不过,得益于阿里已有的成熟经验,Lazada也针对东南亚市场特殊的问题与场景,结合用户数据,大大优化了本地化购物的平台效率,从0到1地推动了电商基础设施建设、带动东南亚数字化进程发展。
而微观来看,深耕技术所带来的算法、业务优化、其实也从底层改善了商家/消费者的体验,让人们的购物、生活更加便捷美好,这也是Lazada平台成立的初衷。Lazada特有的技术护城河,是同市场的其他公司所不具备的——东南亚很少有一家公司像Lazada一样去重视技术、重视开源,并且自始至终地坚持以技术为第一驱动。
希望国内有更多大厂可以像Lazada一样,秉承着开源精神,推出更多“技术分享日”,带来更多的技术资源共享,让我们拭目以待。
完整的分享课程链接在 https://www.infoq.cn/album/51,感兴趣的同学可以自行观看~