安装完全分布式（安装伪分布式前提下）

第一步：关闭节点

//通过端口查看hadoop的相关进程是否已经终止

netstat -naop |grep 80netstat -anop |grep 50070

第二部：

打开hostname配置:

更改：

第三步，从节点关闭防火墙

 查看防火墙状态

systemctl status firewalld.service

        关闭主机防火墙

systemctl stop firewalld.service

      开机自动禁用防火墙

systemctl disable firewalld.service

    查看防火墙状态

systemctl status firewalld.service

第四步：02和03节点设置ssh免密

生成公私密匙对

/切换到ssh的配置文件夹下

cd ~/.ssh

//将本地的生成的公钥文件追加到公钥文件库中

cat id_rsa.pub >> authorized_keys

修改authorized_keys的权限为644.

chmod 644 authorized_keys

测试

ssh localhost

把主节点的公用秘钥拷贝到当前节点 注意替换为你自己的主节点ip

scp 192.168.50.133:/root/.ssh/ id_rsa.pub  ./ id_rsa.pub.master

把主节点的公用秘钥追加到公钥库中，一定是追加 >> , 严禁覆盖 >cat id_rsa.pub.master >> authorized_keys

第五步

验证：

从主节点登录从节点

登入与登出：

 

第六步 修改hadoop配置文件

l 任务：修改hadoop相关的配置文件。

步骤

Linux：

1.        主节点切换到配置文件所在目录

cd /soft/hadoop/etc/hadoop

2.        修改配置文件：core-site.xml

vi core-site.xml

<?xml version="1.0"  encoding="UTF-8"?>
<?xml-stylesheet  type="text/xsl" href="configuration.xsl"?>
<configuration>
       <property>
             <name>fs.defaultFS</name>
             <value>hdfs://tdh-1/</value>
       </property>
</configuration>

3.        修改配置文件：hdfs-site.xml

vi hdfs-site.xml

<?xml version="1.0"  encoding="UTF-8"?>
<?xml-stylesheet  type="text/xsl" href="configuration.xsl"?>
<configuration>
       <property>
             <name>dfs.replication</name>
             <value>3</value>
       </property>
</configuration>

4.        配置文件：mapred-site.xml，保持不变

5.        修改配置文件：yarn-site.xml

vi yarn-site.xml

<?xml version="1.0"?>
<configuration>
       <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>tdh-1</value>
       </property>
       <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
       </property>
</configuration>

修改slaves文件

vi slaves

hadoop01

hadoop02

hadoop03

修改项

第一个修改主机名

第二个修改节点数

第三个修改主机名

第四个修改所有节点名称

 

第七步 清除因启动伪分布式生产的文件

l 任务：清除伪分布式安装产生的文件。

步骤

Linux：

1.        删除临时目录文件

cd /tmp

ls

rm -rf *

2.        删除日志文件

cd /soft/hadoop/logs

rm -rf *

可能会删除mysql启动服务，导致MySQL不可用

执行service mysql restart启动mysql服务

1、  向2个从节点同步安装文件

l 任务：将主节点的安装文件，同步到2个从节点。

步骤

      在主节点tdh-1上，向从主节点tdh-2同步安装文件

//在主节点tdh-1上执行如下命令

ssh hadoop02 'mkdir /soft'

//检查是否创建成功

ssh hadoop02 'ls -al /|grep soft'

//向第一个从节点同步文件 如果rsync 没有找到命令，在三个节点安装 yum install rsync即可解决，rsync会进行校验 备份两个目录不同的部分

rsync -lr /soft hadoop02:/

//检查是否同步成功

ssh hadoop02 'ls -al /soft’

在主节点tdh-1上，向从主节点tdh-3同步安装文件

//创建soft目录

ssh hadoop02 'mkdir /soft'

//检查是否创建成功

ssh hadoop03 'ls -al /|grep soft'

//向第二个从节点tdh-3同步安装文件

rsync -lr /soft  hadoop03:/

//检查是否同步成功

ssh hadoop03 'ls -al /soft’

第八步

1、  配置2个从节点的环境变量

l 任务：配置2个从节点的环境变量

步骤

Linux：

1.        用xshell登录第一个从节点hadoop02，修改环境变量

vi /etc/profile

//在文件的最后一行，添加如下内容

export JAVA_HOME=/soft/jdk

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.        使环境变量生效

source /etc/profile

3.        用xshell登录第二个从节点hadoop03，修改环境变量

vi /etc/profile

//在最后一行增加如下内容

export JAVA_HOME=/soft/jdk

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.        使环境变量生效

source /etc/profile

第九步 在主节点上初始化hadoop，并启动hadoop所有服务进程。

步骤

Linux:

1.        初始化hadoop

hadoop namenode -format

2.        启动hadoop

start-all.sh

3.        查看hadoop进程

jps

4.        查看hadoop根目录下内容

hdfs dfs -ls /

5.        在hadoop上创建目录

hdfs dfs -mkdir -p /user/hadoop

6.        查看防火墙状态

systemctl status firewalld.service

7.        关闭主机防火墙

systemctl stop firewalld.service

8.        开机自动禁用防火墙

systemctl disable firewalld.service

9.        查看防火墙状态

systemctl status firewalld.service