背靠中台实现基于大数据驱动的国际化电商架构(一)

0.让大数据应用无处不在

计算机的伟大之处就是为人类带来了效率。而今天随着大数据技术的日益成熟，也促进了计算机技术的发展。我们可以利用大数据技术实现更加智能的计算，一方面使得效率极大进步；另一方面也智能化也让计算机的应用领域变宽，解决以前无法解决的问题。这两方面最终升化了计算机的计算效率。

如今阿里集团的大数据技术积累以及计算资源的极大丰富也为我们实现更多的大数据应用提供可能性。

天时地利，让我们充分学习，运用大数据技术，赋能各类场景。

本文目的是提供大数据应用在架构领域的一个例子，希望有用。

1. 基于中台的架构模式

对中台的理解

今天如果你想足够赋能业务和客户，你想不被同行甩在后面，你所实现的系统所需的能力一定离不开大数据、大计算、并且你的系统需要充分复用足够高效。而这些能力的构建已经不是各个业务前台能够完成的了，需要更专业专注的团队来实现，而且整合起来优势更大。如ODPS MaxCompute的计算能力，业务前台如果都需实现则会造成资源浪费，也会面临资源瓶颈，最终只能使"能力"减弱。

因此对于各业务前台来讲，毫无疑问，就是需要利用一切中台提供的能力，实现赋能特定业务场景的技术架构。

中台注重全局效率及赋能创新，前台注重赋能业务

个人觉得中台的发展方向是能力整合，推动技术复用，但给小前台们足够的空间用于创新。最终中台实现整个集团的效率提供并支撑集团各业务快速创新。
而前台应该关注自己的业务和客户，找到业务和客户的痛点，对系统和产品的最终交付结果负责，所需能力若中台已经有则需要极大利用，需要沉淀为中台能力需要向中台提出需求，特定场景的业务逻辑由前台实现。前台最终关注的如何赋能业务。

大数据驱动的国际化电商架构与中台的关系

大数据驱动的国际化电商架构其实不是新的概念，无非是利用大数据能力构建模型及工具来优化现有的在线架构，在线架构需要充分使用中台的能力，比如数据库技术，中间件技术，云计算，AIS等等，用于优化在线架构的大数据技术也是基于中台的ODPS，JSTORM等等技术。

2. 国际电商架构目标

国际电商的技术特点

1）国际电商面临的是全球消费者，天然延时大；
2）面临国际互联互通的网络质量问题；
3）国际电商技术还将面临如何快速应对合规、政策等问题；
4）需要发展本地化业务来补足消费者需求，而本地化将面临与全球各地的第三方Service Provider对接；
5）全球范围内的灾备；
6）全球数据一致性；
7）竞争环境激烈，对手强大，需要我们快速迭代试错；
8）全球手机机型的严重碎片化，大大增加了适配难度;
9）国际化业务目前还无法借力大淘宝和集团在国内积累的丰富雄厚的基础设施资源，如阿里云CDN

总结起来，解决方案就是实现区域化部署，整合国际上优质的基础设施资源(TATA, AKAMAI)，基于大数据工具对复杂架构(区域化部署带来的稳定性治理等方面的复杂度)进行治理，持续进行针对终端用户的性能优化，实现业务技术的快速迭代。

国际电商的架构目标

针对国际电商的技术特点，总结出来我们需要特别关注的架构目标如下：

用户体验方面：
1）稳定性、2）质量、3）Performance
不必多说。稳定性、质量、性能对于上升期业务来说尤其重要，而国际化业务的品牌传播途径本就非常珍贵，注重一切直面用户的机会网站一定要稳定。数据证明，好的性能对于国际化业务来讲是直接真金白银的回报。

技术能力方面：
4）Scalability
全球范围的可伸能力，是业务扩张必然强依赖的能力。
5）成本
当区域化部署，政治政策，国际互联网环境都作用于一个电商平台时，会付出很多额外的成本来确保业务的发展，如何利用大数据技术提升资源利用率。
6）效率
面对AMAZON等强大对手，我们想要胜出，就是背靠中国商家，并且让业务迭代更快。

大数据技术是实现目标的极佳手段

由于区域化部署后带来的复杂度提升，以及国际业务本身面对的多国家多市场的复杂业务场景带来的技术复杂度，只有通过机制和工具的建设才能很好的实现架构目标。大数据技术给了我们可以实现目标的机会。

3. 大数据驱动的国际化电商架构

架构原则

1）最大可能借力中台；
2）最大合力共建、模块复用，避免重复发明轮子。基于同样一份数据源，不同场景加工特有的模型，同一场景绝不做大于一个模型。

架构方案

构建且只构建一个生态系统，将在线系统产生的数据及各中台工具所采集的数据整合到一起，基于所整合的数据及架构目标构建特定模型，将特定模型落实到特定工具中，通过特定工具不断的优化在线架构的各个方面，形成闭环。

4. 场景举例

大数据技术在稳定性治理方面的应用

机房出现了部分关键服务RT异常，通过在钉钉群的聊天记录，搜集到每个RT异常服务的调用源端IP及目标端IP发现，源端IP处在同一个网段，最终定位到是这个网段PSW的问题，整个过程耗时1小时。若基于大数据工据，实时搜集信息，并基于设定好的规则进行自动诊断，可以在秒级定位到问题。

大数据技术在稳定性治理方面的应用

某网络运营商故障频发，但我们不能提供精确的数据给对方证明到底哪里出了问题，对方对我们的响应也因此不及时，接下来我们将在APP端采集终端用户的网络连接情况，并且基于大数据技术对采集来的数据进行分析，一方面指导合作伙伴找到问题点，另一方面也有助于优化我们的运营商选择和网络链路优化。

大数据技术在无线质量方面的应用

AE app在全球200多个国家均有使用，google play中显示有12432款android机型，从BI的真实打点数据有4万多款。
目前按照wdm上面显示的top100的机型，也仅能覆盖一小部分的用户机型。如果采用大数据分析技术，我们可以获取不同国家机型覆盖情况，新机型的增长趋势，机型之间的差异，更精准实时的更新我们的适配策略。