大数据实践(Day03-02)----集群搭建（hadoop分布式安装）

 1.解压Hadoop压缩包，并配置路径

tar -zxvf /opt/install_packages/hadoop-3.1.3.tar.gz -C /opt/softs/
mv /opt/softs/hadoop-3.1.3/ /opt/softs/hadoop3.1.3/
vim /etc/profile

#HADOOP_HOME
export HADOOP_HOME=/opt/softs/hadoop3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin


export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

source /etc/profile
echo $HADOOP_HOME

2. 配置hosts文件，复制到另外两台上

vim /etc/hosts

scp /etc/hosts root@bigdata02:/etc/
scp /etc/hosts root@bigdata03:/etc/
scp /etc/hosts root@bigdata04:/etc/

 3.共享密钥，三台互联，免密

cd /root
ll
ls -al
cd .ssh
ll
ssh-keygen -t rsa
ssh-copy-id bigdata02
ssh-copy-id bigdata03
ssh-copy-id bigdata04

4.配置JAVA_HOME路径 (在bigdata02上操作)

[root@bigdata02 hadoop]# vim hadoop-env.sh

export JAVA_HOME=/opt/softs/jdk1.8.0

5.集群规划，搭建HDFS和YARN (在bigdata02上操作)

上传文件到/opt/softs/hadoop3.1.3/etc/hadoop/ （直接拖进去）

--检查文件是否上传成功
cat 文件名

6.配置DataNode所在的结点 (在bigdata02上操作)

[root@bigdata02 hadoop]# vim workers

6.将整个Hadoop文件分发到另外两台上 （bigdata02传到bigdata03、bigdata04）

--传输目录
scp -r 要远程传输的目录 目标主机的用户名@目标主机的IP或者hostname:目录远程传输的位置

scp -r /opt/softs/hadoop3.1.3/ root@bigdata03:/opt/softs/
scp -r /opt/softs/hadoop3.1.3/ root@bigdata04:/opt/softs/

检查是否传输成功

[root@bigdata04 .ssh]# cd /opt/softs/hadoop3.1.3/
[root@bigdata04 hadoop3.1.3]# ll

7.将/etc/profile文件复制到另外两台虚拟机（bigdata02传到bigdata03、bigdata04）

scp /etc/profile root@bigdata03:/etc/profile
scp /etc/profile root@bigdata04:/etc/profile

--检查是否传输成功,并执行
vim /etc/profile
source /etc/profile

（Hadoop集群安装完成）

8.集群初始化操作

在NameNode所在节点执行 （bigdata02）

hdfs namenode -format

bigdata03、bigdata04的hadoop3.1.3目录下无data文件夹

9.在bigdata02节点上，启动hdfs

start-dfs.sh

jps

bigdata02:

bigdata03:

bigdata04:

10.在bigdata04上，启动yarn

start-yarn.sh

jps

bigdata04

bigdata03

bigdata02

11.报错时，查看日志

--查看日志的最新500行
tail -500f 日志路径

12.关闭程序

--在bigdata02
stop-dfs.sh

--在Bigdata04
stop-yarn.sh

然后检查进程是否关闭

jps