aws的EMR搭建Hadoop集群

还是先极简介绍一下EMR是什么，Amazon EMR 基于 Hadoop 的开源框架将您的数据分布在可重新调整大小的 Amazon EC2 实例集群中并进行处理。Amazon EMR 可用于各种应用程序中，包括日志分析、Web 索引、数据仓库、机器学习、财务分析、科学模拟和生物信息学。具体的功能特性可以直接到官网查阅。直接上实验：

实验包括：
1. 使用EMR创建Hadoop集群
2. 定义schema，创建示例表。
3. 通过HiveQL分析数据，并将分析结果保存到S3上
4. 下载已经分析结果数据。
Task1：创建一个S3 桶
创建一个存储桶比如hadoop202006…

Task2：创建EMR集群

这里我解释一下Hadoop集群中的一些组件，了解大数据的同学直接忽略就好。

Apache Hadoop：在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。
Ganglia：分布式监控系统
Apache Tez：支持 DAG 作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。比如Hive或Pig可以将Tez作为执行引擎。
Hive&#x