亚马逊EMR 熟悉

Amazon EMR 是一个托管集群平台，可简化在AWS上运行大数据框架（Hadoop 和spark）以处理和分析海量数据的操作。借助相关的开源项目（Hive和Pig）， 处理数据和商业只能工作负载。还可以使用EMR转换大量数据和将大量数据移入和移出其他AWS数据存储和数据库如S3和DynamoDB。

集群(cluster) ，一组EC2实例的集合，每一个节点都有不同的角色即节点类型

主节点;管理集群以实现处理作业，协调数据和任务在其他从属节点的分配，跟踪监控状态。

核心节点： 运行任务，存储数据

任务节点：只运行人物，不存储数据，可选

向集群提交工作时需要：完整定义mapreduce中的工作、创建集群、安装hadoop软件、连接集群并提交任务

存储： HDFS、EMRFS（直接访问S3内的数据） 本地文件系统

集群资源管理：YARN

数据处理框架： Hadoop mapredcue 以及spark

应用程序：Hive、Pig、spark streaming 等

 

 

入门实例 利用EMR分析大数据

1 创建S3存储桶 ，设置输入数据和输出数据

2启动集群cluster 设置包括：预先安装程序模板 实例类型个数 权限等

3准备数据和脚本存放到s3中

4 在setp中设置数据和脚本的存储位置，加载setp进行数据处理