云场景实践研究第22期：泰为

更多云场景实践研究案例，点击这里： 【云场景实践研究合集】联合不是简单的加法，而是无限的生态，谁会是下一个独角兽
作为全球无线位置领域领跑者之一的泰为，通过基于阿里云EMR，实现了弹性调整集群规模、保证可靠性、可用性、用户作业信息安全性，SLA上升为99.999%，并且减少了企业运维的维护成本。本文将具体分析泰为ETL在阿里云EMR数据处理流程和数据准确性校验的探索与实践过程。

“阿里云EMR从2015年11月发布EMR-1.0.0版本以来，至今才1年不到，已经升级为EMR-2.1.0版本，增加了许多的功能，如用户作业信息加密、与OSS存储无私接缝等等。在开发者与用户之间的积极良好沟通之中，我们有理由地相信，阿里云EMR在未来，会越走越远，越做越好!”

——武基鹏

泰为公司大数据平台产品技术工作负责人

---

采用的阿里云产品

• 阿里云 E-MapReduce
• 阿里云对象存储  OSS
• 阿里云云服务器 ECS
• 阿里云云数据库 RDS 版

---

为什么使用阿里云

阿里云EMR产品具有易用性、和OSS、RDS等产品深度结合、较高的安全性、较低的价格四个优势，同时支持按需创建方案。

---

关于 泰为

泰为公司成立于1999年，总部坐落于美国硅谷所在地加利福尼亚的桑尼维尔市。泰为公司是全球无线位置领域的领跑者之一，其手机导航产品曾服务于无线运营商AT&T, Sprint, CMCC等。Telenav自有品牌Scout产品，是当今能与Google map和Apple map竞争的为数不多的产品。也是全球车载导航产品的供应商，目前其导航产品正在Ford等世界顶级车厂中进行商用服务。

---

不足中寻求突破——运维之痛

在过去的ETL业务中，使用ECS机器搭建ETL集群环境耗费资源成本过大，运维人员的的维护成本较高。公司的Product Job需要在每天凌晨运行，需要很适合公司当前ETL 业务的创建方案，而且当Job 执行结束时，无论执行计划是否成功，都需要释放集群资源来降低企业的成本。

---

为什么选择阿里云？

泰为上云之路

在计划迁移Rundeck上的Product Job到阿里云EMR上，一定要先充分地了解现有业务的处理逻辑、Job脚本代码以及集群组件Hadoop、Hive环境等。为了不影响现有产品环境的稳定性，所以一般要先选择Stage的Job进行迁移，调试。其ETL业务在ETL Cluster的基本架构如图所示：

在接下来的工作中，仔细调研阿里云EMR产品，发现有四点优势： 有易用性； 有和OSS、RDS等产品深度结合； 有较高的安全性，主要整合了阿里云 RAM 资源权限管理系统，通过主子账号对服务权限进行隔离；其实还有更重要一点，在 [2016云栖大会] 上， 其价格再次降低，更加受企业青睐。由于公司的Product Job是每天凌晨run，所以阿里云EMR的 按需创建方案很适合我们当前的ETL 业务，而且当Job run结束时，无论执行计划是否成功，都会释放集群资源，降低企业的cost。

泰为ETL在阿里云EMR数据处理流程和数据准确性校验的探索与实践过程中，主要采用深究ETL业务逻辑、定制化所属自己的集群环境、迁移Stage Job至阿里云EMR、验证阿里云EMR Job Run数据的准确性、迁移Product Job 至阿里云EMR和验证结果数据准确性、停止前身Rundeck Job，正式调度阿里云EMR的执行计划几个主要环节。其中ETL业务在阿里云EMR的基本架构如下图所示。

---

实践中总结经验——拥抱阿里云EMR的成效

从公司方面来说:

减少运维人员的维护成本，更加易用；

每天调度EMR的Product执行计划，每月共只需约295元，而之前搭建ETL集群环境的5台ECS机器资源，每月共需3625元，大大降低地公司的项目费用；

释放集群机器资源，降低成本；

可以弹性调整集群规模；

可靠性和可用性得到了保证（SLA为99.999%）；

加强用户作业信息的安全性；

提高管理控制，并建立战略继续提高生产力。

从个人方面来说:

对业务逻辑有着深刻了解；

Hive手工打补丁和编译版本；

对大数据这块有着更深刻的理解。

关于泰为的更多实践详情： 泰为基于EMR的考量与实践

原文发布日期：2016-11-07

云栖社区场景研究小组成员：丁匀泰，仲浩。