1.下载Hadoop:
wget -P /data/ https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz
2.解压:
tar -zxvf hadoop-3.1.4.tar.gz
3.域名解析配置
vim /etc/hosts
4.配置Hadoop相关环境变量:
vim /etc/profile
5.更新环境变量:
source /etc/profile
6.查看Hadoop是否安装成功:
cd /data/hadoop-3.1.4/bin
hadoop version
7.配置 hadoop-env.sh:
/data/hadoop-3.1.4/etc/hadoop
vim hadoop-env.sh
在文件末尾添加:
8.配置core-site.xml:
在文件末尾添加:
注意:需要创建一个临时目录
9.配置workers:
10. 格式化NameNode(第一次启动时格式化,以后就不要总格式化)
cd /data/hadoop-3.1.4/bin
hdfs namenode -format
11.启动namenode
hdfs --daemon start namenode
12.启动DataNode
hdfs --daemon start datanode
13.查看是否启动成功
14.web端查看HDFS文件系统
http://hadoopyarn:9870/dfshealth.html#tab-overview
注意:hadoop2.x 版本 UI端口 50070,而3.0之后是9870
15.配置YARN
cd /data/hadoop-3.1.4/etc/hadoop
vim yarn-site.xml
16.启动RM
yarn --daemon start resourcemanager
17.启动NM
yarn --daemon start nodemanager
18.验证:
~~经本人验证~~