hadoop完全分布式搭建（centos）

一、虚拟机创建成功

 

二、

1.打开——>用root用户登陆

1. 修改虚拟机主机名为master   
    

   vim /etc/hostname

   

    esc shift+: wq 保存退出

三：关闭防火墙

1.查看防火墙状态

systemctl  status firewalld

2.关闭防火墙

systemctl  stop firewalld

3.关闭开机自启动

systemctl disable firewalld

4.查看防火墙状态

systemctl  status firewalld（此时已经关闭）

  

 

三：设置静态ip

ip route show   ---查看网关

输入 vi /etc/sysconfig/network-scripts/ifcfg-ens33


TYPE=Ethernet

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO=static    ---修改为static

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=ens33

UUID=59642d5f-d12e-4eb4-bf1b-b9c67557c677

DEVICE=ens33

ONBOOT=yes   ---修改为yes

添加如下内容：

IPADDR=192.168.10.100

GATEWAY=192.168.10.2

DNS1=192.168.10.2

 

保存退出后

service network restart（重启网络）

ping外网查看是否连接成功ping www.baidu.com

四：映射

vim /etc/hosts

添加：

192.168.10.100   master

192.168.10.101   s1

192.168.10.102   s2

 

五、安装jdk

如果传输文件不能用，

yum install -y lrzsz

利用rz将本地jdk上传至虚拟机

cd /usr/local/soft (soft目录为创建mkdir soft)

ll

安装包在当前目录下

解压jdk

tar -zxvf jdk-8u171-linux-x64.tar.gz

 

配置jdk环境变量

vim /etc/profile.d/my_env.sh

#JAVA_HOME

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

export PATH=$PATH:$JAVA_HOME/bin

 

是文件生效 

source /etc/profile

查看jdk

 java -version

 

克隆另外两台虚拟机 s1 s2   右键--->管理--->克隆

克隆后打开s1

设置主机名为s1

vim /etc/hostname

修改静态ip为192.168.101

 

重启网络

 service network restart

s2同上

五：SSH

ssh-keygen -t rsa(l连续三次回车)

 

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

 

分发给s1 与s2

scp authorized_keys s1:/root/.ssh

scp authorized_keys s2:/root/.ssh

后面同理（也可以ssh-copy-id s1）

(如果实现三台任意免密。在另外两台机子上重复免密操作即可)

七hadoop安装

cd /usr/local/soft/上传hadoop安装包

解压tar -zxvf hadoop-2.7.7.tar.gz

 

配置环境变量

vim /etc/profile.d/my_env.sh

#HADOOP

export HADOOP_HOME=/usr/local/soft/hadoop-2.7.7

export PATH=$PATH:${HADOOP_HOME}/bin

export PATH=$PATH:${HADOOP_HOME}/sbin

 

source /etc/profile(使环境变量生效)

查看hadoop

 hadoop version

 

本地安装完成

修改hadoop配置文件

cd etc/hadoop/

vim slaves

 删除原来的所有内容，修改为如下

s1

s2

 

修改hadoop的几个组件的配置文件 进入cd /usr/local/soft/hadoop-2.7.7/etc/hadoop 目录下(请一定要注意配置文件内容的格式，可以直接复制过去黏贴。不要随意改)

* 修改hadoop-env.sh文件

加上一句：

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

 

修改 core-site.xml

将下面的配置参数加入进去修改成对应自己的

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://master:9000</value>

        </property>

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/usr/local/soft/hadoop-2.7.7/tmp</value>

        </property>

    <property>

                 <name>fs.trash.interval</name>

                 <value>1440</value>

        </property>

</configuration>

 

修改 hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

</property>

<property>

                <name>dfs.namenode.name.dir</name>

                <value>file:/usr/local/hadoop-2.7.3/tmp/dfs/name</value>

        </property>

        <property>

                <name>dfs.datanode.data.dir</name>

                <value>file:/usr/local/hadoop-2.7.3/tmp/dfs/data</value>

        </property>



</configuration>

配置yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

 

修改 mapred-site.xml（将mapred-site.xml.template 复制一份为 mapred-site.xml

命令：

cp mapred-site.xml.template mapred-site.xml）

 

文件配置

<configuration>

   <property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>  

<name>mapreduce.jobhistory.address</name>  

<value>master:10020</value>  

</property>  

<property>  

<name>mapreduce.jobhistory.webapp.address</name>  

<value>master:19888</value>  

</property>

</configuration>

 

将hadoop的安装目录分别拷贝到其他子节点

 scp -r /usr/local/soft/hadoop-2.7.7  s1:/usr/local/soft/

 scp -r /usr/local/soft/hadoop-2.7.7  s2:/usr/local/soft/

启动hadoop

首先看下hadoop-2.7.7目录下有没有tmp文件夹。

如果没有 执行一次格式化命令：

cd  /usr/local/soft/hadoop-2.7.7目录下

执行命令：

./bin/hdfs namenode -format

会生成tmp文件。

 

然后

/usr/local/soft/hadoop-2.7.7目录下

  启动执行：./sbin/start-all.sh (y因为配了sbin的环境变量可start-all.sh)

  启动完成后通过jps命令查看验证进程：

jps

主节点进程为下面几个（下面是进程名称，不是命令）：

Namenode

secondarnamenode

Resourcemanager

 

子节点进程 （在s1和s2上分别输入命令：jps）

datanode

nodenodemanager

S1节点上

 

S2节点上

 

master 主节点上各数据块目录截图

dfs

 

S1

data

 

S2 data

 

Master logs

 

Pids目录

默认tmp文件夹

 

 

S2 logs

 

S2 pids (默认tmp文件内)

 

start yarn.sh启动后

master nm-local-dir

 

s1 nm-local-dir

 

s2 nm-local-dir

 

master logs

 

s1 logs 新增文件

 

s2 新增目录

 

执行mr-jobhistory-daemon.sh start historyserver

出现新进程 JonHistoryServer

 

在logs生成新文件

 

新pid文件

 

HDFS Web界面

 

YARN Web 界面

 

MapReduce Web 界面