毕设Hadoop集群环境搭建

3.1 Hadoop集群搭建

1. 在三台主机上分别修改主机名和IP 。

2. 配置免密码登录，node01、node02、node03节点可互相无密码登录。

3. 每个节点都下载JDK，并配置环境变量。
   

4. 上传Hadoop并配置Hadoop

a) 修改hadoop环境变量

b) 修改hadoop-env.sh配置文件

c) 修改hdfs-site.xml配置文件

d) 修改mapred-site.xml配置文件

e) 配置slaves

f) 让hadoop配置生效：source hadoop-env.sh

3.2 YARN集群搭建
1) 配置yarn-env.sh

2. 配置yarn-site.xml
   

3. 配置mapred-env.sh
   

3.3 Spark集群搭建

1. 下载Spark并部署到服务器解压
   

2. 配置conf/spark-env.sh
   

3. 配置slave
   

至此，所有集群环境搭建完成！