E-MapReduce弹性低成本离线大数据分析

大数据是一项涉及不同业务和技术领域的技术和工具的集合，海量离线数据分析可以应用于多种商业系统环境，例如，电商海量日志分析、用户行为画像分析、科研行业的海量离线计算分析任务等场景。

离线大数据分析概述

主流的三大分布式计算框架系统分别为Hadoop、Spark和Storm：

• Hadoop可以运用在很多商业应用系统，可以轻松集成结构化、半结构化以及非结构化数据集。

• Spark采用了内存计算，允许数据载入内存作反复查询，融合数据仓库、流处理和图形计算等多种计算范式，能够与Hadoop很好地结合。

• Storm适用于处理高速、大型数据流的分布式实时计算，为Hadoop添加可靠的实时数据处理能力。

海量离线数据分析可以应用于多种场景，例如：

• 商业系统环境：电商海量日志分析、用户行为画像分析。

• 科研行业：海量离线计算分析和数据查询。

• 游戏行业：游戏日志分析、用户行为分析。

• 商业用户：数据仓库解决方案的BI分析、多维分析报表。

• 大型企业：海量IT运维日志分析。

架构图

方案优势

• 高性能、低成本

• 快速部署

• 弹性

• 多种计算模式

• 无缝对接开源生态

• 一站式管理平台

方案详情

详情请参见E-MapReduce弹性低成本离线大数据分析最佳实践，链接：

https://www.aliyun.com/acts/best-practice/preview?spm=a2c4g.11186623.2.11.6015239aF5UHee&id=52131

---

更多信息，请围观今天下午4点，钉钉群直播

主题：EMR弹性低成本离线大数据分析 最佳实践
时间：2020年4月2日下午4点
讲师：刘晋勋  阿里云解决方案架构师
直播渠道：阿里云E-MapReduce技术交流钉钉群联播，入群即可观看。

钉钉群号 : 21784001

内容简介：
基于飞天大数据平台的E-MapReduce(EMR) 、对象存储OSS、日志服务SLS、抢占式ECS实例构建高弹性、低成本计算与存储分离架构的海量离线大数据分析日志分析系统。

---

对开源大数据感兴趣的同学可以加小编微信（图一二维码，备注进群）进入技术交流微信2群。也可钉钉扫码加入社区的钉钉群

Apache Spark技术交流社区公众号，微信扫一扫关注