EMR：一体化Hadoop云上工作平台

2019独角兽企业重金招聘Python工程师标准>>>

Hadoop生态体系日臻完善，如何利用Hadoop生态各项技术与阿里云更好的服务于企业。EMR最新发布的工作流管理、弹性伸缩、异构计算多项功能，更好的助力用户在阿里云上利用Hadoop、Spark生态体系解决企业大数据问题。

EMR数据开发工作台
EMR数据开发工作台集成了作业编辑、工作编辑和临时查询等功能，能更好的满足用户云上离线数据处理、数据分析和探索挖掘等场景。主要特点在于：

1. 支持多样化的大数据作业，支持shell，Hive，MapReduce，Spark，SparkStreaming等多种离线，实时类型作业，企业数据开发人员可在线编辑，调试。
2. 更低的数据开发门槛，用户通过拖拽式的大数据开发完成数据的接入，相较于Oozie、Azkaban等开源解决方案，运营人员，数据科学家可以更直观的进行大数据开发。
3. 交互式数据探索，为用户提供交互式Hive、SparkSQL查询、分析，快速提取海量数据价值。

集群弹性伸缩
EMR弹性伸缩能更好的缝合公有云计算资源弹性和Hadoop生态体系开放的两大优势，实现计算资源根据集群繁忙程度弹性伸缩，帮助企业降低Hadoop资源的使用成本。

1. 定时扩缩容集群，用户设置在制定时间对集群进行扩容、缩容，满足日报、周报、月报等需临时追加计算资源的场景。
2. 支持多种ECS实例，受ECS库存影响，弹性伸缩会由于库存不足造成执行失败，为提升伸缩动作执行成功概率，弹性伸缩可同时支持多种ECS实例，且能一次性把尽量多的库存资源全部买出，保证集群资源。

EMR Learning
深度学习、AI以成为目前炙手可热的词汇，EMR Learning将深度学习和开源大数据技术深度结合，提供一体化的大数据+深度学习服务。利用一个集群，构建企业数据湖，同时进行机器学习和深度学习。

1. 支持ECS CPU+GPU的异构计算，通过Hadoop YARN调度集群GPU资源
2. 支持Horvod，TensorFlow，SparkML等计算框架，一个集群内进行机器学习和深度学习。
3. 可采用PS、MPI等数据通信模式，解决深度学习的通信瓶颈
4. 支持Docker，Muti-Env多运行环境隔离

转载于:https://my.oschina.net/u/3943837/blog/1982491