阿里云高级工程师分享:高德地图基于阿里云MaxCompute的实战效果

原创 2018年04月16日 12:24:57

阿里云高级工程师分享:高德地图基于阿里云MaxCompute的实战效果

阿里办公室

云计算带来的变革不言而喻,作为一种新型的IT交付模式,切实为企业节省IT成本、加快IT与企业业务结合效率、提升创新能力、加强管理水平以及增强系统本身的靠性等方面提供巨大支持,是企业实现新发展的重要途径,它已然成为全球IT产业的主流声音。

为此,CSDN记者日前采访了国内最早一批提供地图API互联网服务商高德的高级运维专家曾伟,从运维的角度分享了高德上云的背后故事和带来的好处、云上架构、运维核心价值的变化等,最终实现了应用服务可用性上升到99.99%,同比提升了5倍,以及运维人员从原先的45人降到16人。他也表示,企业应当及时抓住云计算技术带来的新机遇,针对自身不足,实施相应的技术和业务变革,拥抱云计算,充分发挥云计算技术在企业管理中的作用,从而增强企业的竞争能力。发展相关的。逆水行舟,不进则退,没有更多的技术作为支撑,程序员你们小心脚步会跟不上了,我大数据从业者,建了一个大数据资源共享群593188212 每天分享大数据学习资料和学习路线

阿里云高级工程师分享:高德地图基于阿里云MaxCompute的实战效果

阿里女程序员

高德的IT化信息化之路

高德于2002年成立,这十几年的发展使得高德产品从简单的车载导航产品应用至整个互联网,目前提供的产品或服务主要有基础服务:定位、搜索、线路规划、导航、步行、公交;O2O:酒店、美食、景点等;车联网:AMAP AUTO车机版本、无人驾驶;高德大数据:实时路况,躲避拥堵等。

高德的数据采集、加工、整合过程

从最初的数据采集、合成、地理等变化到今天的车辆定位系统,高德的数据加工与整合主要分为这几个阶段:

初级阶段:采集车安装摄像头和GPS、实景采集、邮寄视频光盘等原始的方式;而内部作业员再通过看录像、轨迹进行数据分析和数据制作,从而实现3个月一次的数据更新。在这一阶段是全手工模式,互联网化较低;

系统阶段:采集车开始使用采集系统软件,再在晚上通过网络回传,脱离光盘作业的形式;之后,通过完善的编辑工具、检查工具,实现了高的质量控制和快的流水线速度,从而进入到数据加工厂阶段;

平台化阶段:上线高精采集车采集全景、分米级高精轨迹,以及众包的形式进行社会化采集;内业工作平台化,数据流转任务流转平台化,而且全流程有监控,最终进入到流水线生产阶段;

自动化阶段:未来的采集将全面转向众包化,实现自动回传,而内业的自动化水平高度提升,通过影像识别、大数据分析、自动数据融合等技术提升自动化生产的水平,这也是高德当下努力的方向。

阿里云高级工程师分享:高德地图基于阿里云MaxCompute的实战效果

运维之痛

在上云前,高德在运维方面经历了很多的痛苦,比如自建机房带来的运维之痛,高德之前有7个小机房零散分布在全国各个地方,但随着业务的快速增长自建小机房模式带来很多问题,包括IDC电力、空调、网络都很容易故障,也使得当时的运维达到40多人;同时也面临大量的运维需求,因为运维需要负责IDC、电力、网络、服务器、OS、数据库(MySQL、Redis、Oracle、Memcache、PG、MongoDB)、各种应用软件(Nginx、Apache)、开源工具(Jenkins、Puppet),大量的需求使得运维人员的经历分散,产生非常大的压力。另外,有时候因用户激增带来的大流量,加上原本吃紧的带宽等问题,甚至会造成重大活动/节日时的宕机

高德在刚开始上云时,对于熟悉传统数据中心的运维人员有可能不熟悉各种云服务组件,以及高德IDC和阿里云并网运行期间,日志实时传输延迟导致实时数据分析会出现延迟的情况。而通过阿里云提供的完善技术、及时的响应、培训支持,快速地解决了遇到的问题,最终运维人员可以很熟练的使用云服务。比如,在高德MySQL数据库转阿里云RDS的过程中,遇到了数据迁云的问题——数据格式、写的方式、导出/导入方式,最后利用阿里云强大的RDS直接通过中转区搭建了DTS系统,实现了跨网数据库迁移的无缝切换和数据一致性。另外,阿里云技术专家毛一鸣也介绍称,高德也用到了阿里自研的DRC产品(Data Replication Center),支持异构数据库实时同步,数据记录变更订阅服务,为跨域实时同步、实时增量分发、异地双活、分布式数据库等场景提供解决方案。

阿里云高级工程师分享:高德地图基于阿里云MaxCompute的实战效果

在迁到云上之后,高德地图的应用服务可用性上升到99.99%,比之前的7个小机房提供的服务可用性提升了5倍。另外,从以前的每次大型活动系统常崩溃,到国庆出行高峰的运维人员淡定、系统稳若磐石,充分体现了阿里云计算的稳定性。再者,以前高德的新应用上线和扩容,至少得提前2个月开始采购服务器、上架、装机、人肉扩容、发布,上阿里云之后,弹性扩缩容基本上在20分钟内就完成,新应用上线10到20分钟内就可以完成资源申请到应用发布上线。

全球云服务商对比:阿里云,太贵了

米扑科技,随着米扑代理、米扑支付、米扑域名、米扑财富、米扑博客等产品业务线快速发展,对云服务器性能、功能、价格等各方面要求也越来越高,对云服务器采购成本也要有所考虑了。于是,花了整整一个周末,整理对比...
  • sunboy_2050
  • sunboy_2050
  • 2017-09-03 21:20:49
  • 9995

阿里云解决方案架构师,讲述分布式架构云平台解决方案(附图文)

技术架构 分布式架构云平台在充分分析IT技术发展趋势,遵循集中化、标准化、集成化、可靠化和可扩展化的设计原则,以价值创造为使命,以规范化、一体化、智能化的云平台为支撑,实现信息的透明共享、业务的敏捷...
  • Gupaoxueyuan
  • Gupaoxueyuan
  • 2018-01-24 15:40:33
  • 1510

springcloud----Zuul动态路由

前言Zuul 是Netflix 提供的一个开源组件,致力于在云平台上提供动态路由,监控,弹性,安全等边缘服务的框架。也有很多公司使用它来作为网关的重要组成部分,碰巧今年公司的架构组决定自研一个网关产品...
  • u013815546
  • u013815546
  • 2017-04-01 14:11:25
  • 22872

asp.net+mvc 快速开发平台,强大工作流引擎,精美UI,给开发一个加速度!

公司业务量比较大,接了很多项目,为了缩短开发周期老板让我牵头搭建了一个快速开发平台。 我们主要的业务是做OA、CRM、ERP一类的管理系统,一个通用的后台搭出来,再配合一些快速开发的组件开发效率能...
  • endless0709
  • endless0709
  • 2017-03-10 09:48:22
  • 9026

阿里云服务器 ECS 访问不了公网 ip 可能的原因及解决方法

终于决定买一台阿里云的服务器,然后下单成功很快就帮我配置好了环境,我一开始不知道初始密码,于是在云服务器管理控制台进行了重置密码,然后直接使用它给我提供的公网 ip 进行访问,结果显示访问失败,我还以...
  • Inite
  • Inite
  • 2017-06-24 10:37:19
  • 29411

阿里云服务器搭建SS

       近期为了准备美赛,自然可能需要访问国外网站,但是选择网上的vpn购买经常会跑路,自己不放心;选择免费的lantern软件可用流量又只有500M而且网速可能有时会炸了(简直是龟速!)。于是...
  • wobeatit
  • wobeatit
  • 2018-02-17 20:13:18
  • 2159

centos7下部署rocketchat软件

在使用 RocketChat 之前,公司内部一直使用微信和 QQ 进行沟通和交流,安全性,开放性,易用性都不足。 RocketChat 的出现,提供了 Slack 的基础功能、开放的 API、与 Gi...
  • bittersweet0324
  • bittersweet0324
  • 2017-08-23 17:08:49
  • 1566

使用Spring Cloud Zuul实现动态路由

Zuul 是提供动态路由,监控,弹性,安全等的边缘服务。Zuul 相当于是设备和 Netflix 流应用的 Web 网站后端所有请求的前门。 Zuul 可以适当的对多个 Amazon Auto Sc...
  • mn960mn
  • mn960mn
  • 2016-07-05 16:48:35
  • 39843

Android studio 启动模拟器时解决 VT-x is disabled in BIOS的问题

Android studio打开模拟器的时候会出现VT-x is disabled in BIOS 的问题。
  • gqqzxc
  • gqqzxc
  • 2016-10-12 17:24:05
  • 27654

maven 阿里云 国内镜像 中央仓库 亲测可用

众所周知,在墙内开发很头疼的一件事就是Maven仓库的连接速度太慢。虽然对于很多互联网企业和大中型软件公司,建个镜像是分分钟的事。但对于个人开发者和小公司来说,确实是个问题。之前有一阵子开源中国有提供...
  • PRIMEZPY
  • PRIMEZPY
  • 2018-01-09 21:44:51
  • 4078
收藏助手
不良信息举报
您举报文章:阿里云高级工程师分享:高德地图基于阿里云MaxCompute的实战效果
举报原因:
原因补充:

(最多只允许输入30个字)