文章背景
个人日常工作中,会涉及到多云的大数据环境使用及运维,主要涉及到AWS云EMR、阿里云 EMR、还有华为云MRS,所以一直考虑开一篇文章,来描述下个人在使用云上大数据集群服务(Elastic Map Reduce)的一些个人的感悟,希望也能帮助后续上云的朋友,能够提供一些不一样的视角来感受下云上大数据服务。
本文并没有包含一些实战内容,而是从个人最佳实践以及踩过的一些坑来进行总结,分享下个人的一些经验和方案,尝试在大方向上横向对比下两朵云(AWS和Aliyun)上EMR服务的体验。
当然如果大家想了解实战内容,可以留言反馈具体方面,我也尝试写一些实战内容。
功能架构篇
先上官方的两张的描述自己的EMR 架构图片, 我个人直观感受还是比较喜欢AWS 这种风格,描述的简单明了,同时实际上内部的功能并不别阿里云的少,只是并没有想通过一张图片就想全部展示出来。 阿里云的就是有点过于丰富了,想通过一张图片把所有的东西都展示出来,有点堆砌的感受。
产品形态对比
两个EMR 的产品形态对比,我们一一对比:
AWS EMR | Aliyun EMR |
---|---|
AWS EMR on EC2 | Aliyun EMR on ECS |
AWS EMR on EKS | Aliyun EMR on ACK |
AWS EMR on Serverless | Aliyun EMR on Serverless |
AWS EMR on Outposts | 无 |
AWS EMR on EC2 VS Aliyun EMR on ECS:
本质上都是基于各自云服务上的主机搭建的,也就是计算节点就是云主机,但是收费模式都有包年包月,按需付费,竞价节点模式 这块基本上没啥区别,主要是体现在费用的问题。
- 包年包月:就是提前约定好使用长周期,可以享一定折扣
- 按需付费:按实际使用时长付费,销毁之后就不再收费,更为灵活,但是每小时单价更高一些
- 竞价节点:按竞价高低付费,可以设置竞价上限,日常平均会比按需便宜50%以上,要看具体可用区的资源紧张程度,但是会存在资源被其他方抢占