EMR(Elastic MapReduce)是一个大数据处理和分析平台,包含了多个开源组件。本文将详细介绍如何部署EMR的主要组件,包括:
- JDK 1.8
- Elasticsearch
- Kafka
- Flink
- Zookeeper
- HBase
- Hadoop
- Phoenix
- Scala
- Spark
- Hive
准备工作
所有操作都在 /data
目录下进行。首先安装JDK 1.8:
yum install java-1.8.0-openjdk
部署Elasticsearch
- 添加环境变量:
cat >/etc/profile.d/es.sh<<EOF
export ES_HOME=/data/elasticsearch-6