深度回顾!30篇好文,解析历年双十一背后的阿里技术秘籍 | 双11特别策划之一
https://developer.aliyun.com/article/726190?utm_content=g_1000088941
96秒100亿!哪些“黑科技”支撑全球最大流量洪峰?| 双11特别策划之二
https://developer.aliyun.com/article/726591?spm=a2c6h.12873639.0.0.bd985392dvoki1
2019 天猫双11
96秒成交额破100亿
全球最大流量洪峰
每秒订单峰值54.4万笔
我们将从 云计算、新零售&支付、安全 和 物流 四大方向带给大家双十一技术全解密!
云计算篇:
> 剖析AliSQL X-Cluster|基于X-Paxos的高性能强一致MySQL数据库
MySQL数据库从诞生以来就以其简单、易用、开源为其主打特点,成为不少开发者首选的数据库系统。
> 直击阿里双11神秘技术:PB级大规模文件分发系统“蜻蜓”
蜻蜓,通过解决大规模文件下载以及跨网络隔离等场景下各种难题,大幅提高数据预热、大规模容器镜像分发等业务能力。月均分发次数突破20亿次,分发数据量3.4PB。其中容器镜像分发比natvie方式提速可高达57倍,registry网络出口流量降低99.5%以上。
TPP(Taobao Personalization Platform, 也称阿里推荐平台 ) 平台承接了阿里集团300+重要个性化推荐场景,包括手淘首页猜你喜欢、首图个性化、购物链路等。除了提供应用层面的支持和封装,还肩负着机器分配和维护各场景运行稳定的重任。
> 双11黑科技,阿里百万级服务器自动化运维系统StarAgent揭秘
还记得那些年我们半夜爬起来重启服务器的黑暗历史吗?双11期间,阿里巴巴百万量级主机管理能安全、稳定、高效,如丝般顺滑是如何做到的?这归功于StarAgent,它可以当之无愧的说是阿里巴巴IT运维的基础设施。
全链路压测是阿里的首创,我们将从工作内容、操作过程、运行总结等多个方向来介绍下阿里内部典型电商活动(如双11准备),以给大家展示一个完整的压测流程,帮助更多的企业和用户更好的完成性能测试。
张瑞,阿里巴巴研究员,阿里集团数据库技术团队负责人,经历阿里数据库技术变革历程,连续六年作为数据库总负责人参与双 11 备战工作。这篇文章将分享新一代数据库技术在双 11 中的应用。
2017年6月7日,阿里巴巴集团正式发布服务于品牌的消费者数据资产管理中心——品牌数据银行(Brand Databank),将帮助品牌建立全面的消费者数据资产管理,是国内首个实现品牌全域数据资产管理的平台。
OceanBase的高可用可以做到自动故障切换和不丢一点数据,即使是异地多机房部署也是如此。这是OceanBase的特性之一。OceanBase的高可用机制是数据库内核能力不可分割的一部分,且是常态运行不存在需要的时候才发现失效了。
> OSDI '18重磅解密:蚂蚁金服实时金融级分布式图数据库GeaBase
GeaBase是具备高性能、高可用、高扩展性及可移植性强的实时金融级分布式图数据库,广泛应用于蚂蚁金服风控、社交、推荐等技术场景。“过无人区” 、“Made in China” 、“反哺”是GeaBase的几个耀眼标签。每年的支付宝春节红包、每一笔交易的反洗钱识别等等,背后的技术都少不了它的身影。
> 数据中心日均 CPU 利用率 45% 的运行之道--阿里巴巴规模化混部技术演进
混部技术的出发点,源自于对不断增长的业务和日益攀升的资源成本如何平衡的思考,我们希望用最小的资源成本,支撑更大的业务需求。是否能够复用已有的存量资源,来满足新增的业务,这就是混部技术发展的思想源头。
阿里云ECS可以在5分钟内支付一个中型互联网公司规模的计算平台,助力平稳承接双十一期间数十倍甚至百倍于平时的业务数据量。用户的每一次点击浏览背后都有ECS提供高性能、稳定算力的支撑。
大促期间,商家订单量较平时提高数十倍甚至百倍,RDS的灵活弹性升级能力帮助商家瞬间提升RDS能力,应对并发订单流量。
将源站内容分发至最接近用户的节点,使用户可就近取得所需内容,提高用户访问的响应速度和成功率。解决因分布、带宽、服务器性能带来的访问延迟问题,适用于站点加速、点播、直播等场景。
新零售 & 支付篇:
如何助力零售企业完成数字化转型,用大数据和云计算的力量帮助品牌更好地洞察消费者、连接消费者、服务消费者,是一个重要的课题。
“今天吃什么”依旧每天困扰着我们,但“今天穿什么”的问题,阿里巴巴想通过技术来帮我们解决。阿里巴巴 FashionAI 时尚大脑,借助 AI 技术,为我们提供服饰搭配的参考方案,这也是阿里一直强调的“新零售”的具体体现之一。
本文讨论其中的三个关键的技术点:基于图像的顾客动作检测算法;基于射频信号的商品翻动检测算法;基于二部图匹配的人货关联算法。
阿里巴巴经济体每天都在服务着数以亿计的会员,每天会员求助的进线量巨大,尽管机器人的解决能力已经很强大,但是以目前技术人工客服依然无法完全被替代,庞大的阿里人工客服在保障会员体验的任务中仍扮演着十分重要的角色。阿里巴巴新零售技术事业群-CCO技术部打造了一款助手在客服工作中予以辅助,实现人机协同。
在线推荐服务根据商品的特征和用户的信息推荐多个商品。 现如今很大比例的用户通过手机访问电商平台。 但是一些推荐的商品并没有被用户看到。为了解决在线推荐场景中的伪曝光问题并提高推荐商品的CTR,我们首次尝试了bandit框架,并且在传统的bandit算法上进行了多项改进,取得了不错的效果。
本文从需求分析和体系化构建的角度出发,阐述在电商这一特殊领域的知识图谱构建过程中,形成的一整套概念体系,还有在此过程中,通过算法、工程、产品、运营和外包团队投入大量精力,通过不断磨合逐渐完善的平台架构和审核流程。
一方面,互动能让用户感受到更多的参与感,并能一定程度上干预推荐结果,而不只是被动接受推荐结果;另一方面,系统通过与用户的互动能更加了解用户的偏好,从而提升推荐效果。那么,我们是如何让用户和推荐系统互动起来的呢?且看下文。
我们希望营销场景作为卡片的形式插入到现有的为你推荐里,一方面是为这些场景分发流量,一方面是希望提高整体的坑位曝光收益。今天,我们就来探秘如何插入这些营销场景卡片。
安全篇:
互联网黑产盛行,其作弊手段层出不穷,导致广告效果降低,APP推广成本暴增。精准识别作弊是互联网公司和广告主的殷切期望。今天我们将从时间序列、统计、距离、线性方法、分布、树、图、行为序列、有监督机器学习和深度学习模型等多个角度探讨异常检测。
阿里云WAF AI内核为云WAF提供核心机器智能能力,为客户提供精细化个性化智能化的防护,最大程度降低安全风险。AI驱动的智能安全系统趋势明显,所带来的收益也会越来越大。
高等级的云上数据安全体系到底是如何做的?6月29日,在第二届数据安全峰会上,阿里云智能安全事业部总经理肖力给出了答案。肖力指出,云上数据安全建设是一个系统工程,最主要的六大方面是减少攻击面、正确的产品安全策略配置、统一的身份认证授权、数据加密、数据防泄漏、日志审计。
“太刺激了,太刺激了!如果那个48%真出问题,整个安全部的双11就可能是3.25!”阿里安全业务安全产品技术高级专家知命推了推眼镜。MTEE3是什么?那个48%又是什么鬼?
近年来,大规模的个人信息泄漏事件不断发生,由此引发的精准诈骗也经常被媒体报道。有着庞大用户群体和海量交易的阿里巴巴却能独善其身,这背后有什么独门秘籍呢?阿里安全技术平台资深专家玄泰反复提到“御城河”三个字。
0.1 秒能做什么?眨一下眼睛,或者什么也干不了? 对于蚂蚁神盾局来说,0.1 秒内要做的事太多了,它能在0.1秒内检测诈骗,盗号甚至非法集资,这个看似不太可能的任务,他们依靠了一个秘密武器 —— CTU智能风控大脑。
物流篇:
本文将主要从包裹预测、供应链入库、订单下沉、订单路由调度、电子面单及智能分单,以及在末端小件员方面的一些技术探索实践,通过数据和技术的力量,捍卫这场十亿级包裹的双11之战。
在弹性调度出现之前,菜鸟整体资源使用率都处于一个比较低的水平,对于菜鸟来说,弹性调度是提升资源使用率最为行之有效的一种方式。方舟平台提供了可靠、高效的扩缩容能力,真正意义上实现资源的“按需使用”。
看完了如此详细的解析,大家一定需要一套实践方法论。这里有一篇深度好文: 双十一解决方案应用全揭秘 ,这套解决方案将选取以往双十一期间出现频率较高的一些问题(如:大促流量高峰无法应对、数据意外丢失,无法及时恢复、获客难,会员营销如何更智能及企业内部沟通如何更安全更高效等)提出切实可行的解决方案,为大家分享阿里巴巴实践经验及产品化解决方案,并提供爆炸式支付增长的保障。
2017年天猫双十一全栈技术架构图