阿里云EMR2.0平台：让大数据更简单

摘要：本文整理自阿里云资深技术专家李钰(绝顶)在 阿里云EMR2.0线上发布会 的分享。本篇内容主要分为三个部分：
1.EMR 平台概述
2.EMR2.0 新平台核心能力
3.总结

一、EMR 平台概述

EMR 平台是开源大数据的云原生运行环境，阿里云EMR 根据云原生的特点，在弹性伸缩、稳定性、智能化和研发效能四个方面进行了大量的功能优化：

• Elasticity 弹性伸缩，算力按需申请释放，突破IDC物理限制；
• Stability 稳定性，故障节点自动替换补偿，关键事件自动告警；
• Intelligence 智能化，智能探查资源浪费，预警集群潜在风险；
• Efficiency 研发效能，业务高效开发调试，作业一键调度上线。

二、EMR2.0 新平台核心能力

Elasticity 弹性

基于时间的弹性伸缩能力

• 弹性规则：定时增加或者减少 ECS 实例数量；
• 适用场景：业务负载变化存在时间周期性；
• 成本节省：通过采取这种策略，与预置固定资源相比可以节省大量资源；使用抢占式实例可以进一步降低成本；
• 使用方式：在节点组上设置扩容规则的时候，选择按时间扩容；支持以下设置：执行频率和执行时间；规则的有效期；重试过期时间；单次扩容的节点数等。

基于指标的弹性伸缩能力

• 弹性规则：通过预设的基于负载指标的规则，动态调整 ECS 实例数量；
• 适用场景：业务负载动态变化，无固定时间周期性；
• 成本节省：通过采取这种策略，可以动态的适应业务负载的变化；使用抢占式实例可以进一步降低成本；
• 使用方式：在节点组上设置扩容规则的时候，选择按负载扩容；支持以下设置：集群负载指标（比如“YARN 资源队列 pending 应用数”）；指标统计周期和统计规则；重复几次后扩容；单次扩容的节点数；冷却时间等。