大拿在跨国机房数据同步等方面的最佳技术实践

4月20日，云栖大会深圳峰会在大中华深圳喜来登酒店隆重召开。本文根据深圳市大拿科技有限公司副总王彬文在海外分会场中题为《扬帆出海，阿里护航》演讲整理而成。王彬文在演讲中深入分享了大拿所面临的技术挑战，以及如何成功实现跨国机房数据同步、高并发、大数据分析等方面的技术实践经验。

 

以下是演讲内容整理：

 

首先非常感谢阿里给予此次机会同大家一起交流分享下大拿在做国际业务时的经验。今天的分享主要分为两个部分：第一是大拿是做什么的？第二个部分是大拿在开拓海外市场的过程中遇到什么问题，阿里云帮助我们解决了哪些问题？

 

大拿要做开放的物联网云平台 

大拿科技创建于2007年，是全球领先的基于物联网和云计算的解决方案提供商，业务涵盖动态域名寻址、网络视频监控、企业互联网应用管理等领域。

凭借创新的物联网概念，大拿科技为全球用户打造卓越的物联网运营方案，将各种具备网络能力的设备变成消费者可以随时链接和享用的资源，并通过自主研发和运营管理的大拿物联云服务平台，为广大用户提供可管可控的服务，让人人享有随时随地、可控可管、安全稳定的互联生活。

简单的来说，大拿做的就是一个物联云平台。

图一 大拿物联云平台构成

大拿物联云平台由云端、客户端和设备端三部分组成。在云端，大拿提供了一些标准API，供第三方使用；在客户端，大拿会提供一些标准的APPs，像iOS、安卓等；设备端，大拿提供了相对应的标准的SDK，使第三方设备非常方便地接入大拿物联云平台。

目前是一个物联网的时代，设备种类繁多，市场上不存在任一家公司的业务涵盖全部的硬件设备。大拿作为一个开放的物联云平台，并不是去做硬件，而是平台和用户，让做硬件的厂家与大拿合作，共同给用户提供一种全新的生活的体验。

 

图二 独特的平台安全机制

在做物联过程中，安全是最重要的。大拿实现了在云端与客户端、设备端之间进行数据传输加密，音视频数据做到一帧一密，每一个命令是一个密钥，采用动态变化的密钥，即使客户端和设备端在同一局域网下，它们之间的通信也是需要进行加密的。大拿通过使用私有的协议，自生成密钥的算法，保障用户的安全。 

为了服务全球的用户，大拿建立了全球云服务支持体系。其物联网云服务器遍布全球，实现全球化运维；同时在美国、欧洲、香港设立分支机构；在东欧、中东等局部地区也提供本地化云服务。

大拿物联云平台支持多种物联连接方式，如RF、wifi、蓝牙等；同时该平台全操作系统支持，既包括Linux，Windows，也包括OPERTOS等实时操作系统；大拿的APPs也做到H5、安卓、苹果、Windows全平台覆盖，便于用户快捷使用。

 

面临的四大挑战和技术实践经验分享 

在大拿扩展海外市场的过程中面临着很多挑战，主要有：

• 因国内IDC机房和自建海外机房的链路不稳定、延时高和丢包严重，导致数据同步链路不稳定；
  
• 视频类设备带来的高带宽消耗和海量音视频数据存储，例如摄像头消耗的带宽和存储资源相当可观；
  
• 大量智能设备接入云端对平台带来的高并发挑战；
  
• 对智能设备产生的海量数据和用户日志的处理与分析。
  

为了应对上述挑战，大拿寻求到了阿里云的技术支持，采取了以下几种应对措施：

一、高速通道：应对跨机房数据同步 

大拿借助阿里云在深圳、香港、新加坡、美国的数据中心和高速通道服务解决跨机房通信链路不稳定的问题。例如采用阿里的中美高速通道后，从美国到中国的访问时间由原来的220-300ms减少到150ms，同时网络丢包率也由原来的5%-10%减少到现在的0%。

其次数据同步由全量同步调整为只同步核心数据，设备产生的数据进行本地化存储，实现节点内自治。

 

二、ECS+OSS：应对高带宽和海量存储

视频设备的云存储服务和用户观看视频设备对机房带宽带来严峻挑战，目前200多万设备7*24小时的云存储服务，产生近80PB的数据，近1T的带宽消耗。为了降低成本，大拿利用阿里云优质的带宽资源和OSS解决云存储问题。首先视频数据直接存储在OSS上，无需先存储在ECS上，减少了ECS的支出；鉴权方面，通过阿里云的STS，保障数据访问权限问题，不会出现A写入B数据的现象。

 

三、高防IP+SLB+弹性伸缩：应对高并发

图三 应对高并发的措施 

在直播场景里面，会产生很多高并发量的问题，比如在某一个时间点内会突然有较大的访问量峰值。针对这类场景，可采用上图所示的高防IP+SLB+弹性伸缩服务的架构。随着访问量增加，动态的增加存储、计算、带宽等资源，在访问高峰退去之后再释放掉这些资源，按量付费。

四、E-MapReduce：大数据分析

图四 利用E-MapReduce进行大数据分析 

因为视频信息可以提供相当多的感知元素，所以对摄像头进行视频分析很有意义，比如可以通过摄像头对家庭成员进行识别，定制化的改变周围的温度、湿度等环境，满足其喜好。要实现这样的功能，需要使用多种阿里云产品。首先需要在ECS上通过分析将视频信息，将其转化成半结构化数据；半结构化数据进入到E-MapReduce或者是ODPS中，完成数据分析和数据挖掘，进行用户行为的建模；建模完成后，反作用于用户的使用习惯，给用户一个更好的智能联动的体验，形成一个完整的闭环。

 

阿里云助力大拿扩展业务

大拿通过与阿里云的技术合作，有效提升了本区域、跨区域访问的用户服务体验；同时通过海外高速通道等措施保障了大拿的海外业务的快速扩展，从项目规划到海外部署快速上线，阿里云技术服务全线参与其中；通过按需使用等手段，有效控制了成本，相比较于大拿在海外选择租借IDC资源方式，采用阿里云完全屏蔽国内和海外的差异，为大拿提供无差别的云计算服务。

大拿只做平台，不做硬件。这里再次强调大拿是一个开放的物联网云平台，通过与阿里云的合作，大拿实现了轻资产级公司的目标，更加专注于业务和服务对象。