Hadoop+Yarn完全分布式搭建

我设置的主节点为node01，从节点分别为node02和node03

查看系统自带的jdk, 有就卸载
- 查看命令： rpm -qa | grep java

- 删除命令： rpm -e --nodeps 名字

前提:已解压jdk&hadoop包改名后放于/usr/local/src
        (tar -zxvf 压缩包 -C ./
         rm 压缩包
         mv 旧包名 新包名)

systemctl status firewalld.service
systemctl stop firewalld.service
systemctl disable firewalld.service

 
yum install net-tools

vi /etc/hosts
192.168.1.80 node01
192.168.1.81 node02
192.168.1.82 node03

vi /etc/profile

export JAVA_HOME=/usr/local/src/jdk
export PATH=$PATH:${JAVA_HOME}/bin

export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
source /etc/profile

java -version 

hadoop version

cd /usr/local/src/hadoop/etc/hadoop

vi slaves

改localhost为node01 node02

vi hadoop-env.sh
export JAVA_HOME=/usr/local/src/jdk

vi core-site.xml

<configuration>
         <property>
#指定hadoop所使用的文件系统 HDFS的地址
                  <name>fs.defaultFS</name>
                  <value>hdfs://node01:9000</value>
         </property>
         <property>
#指定hadoop运行时产生文件的存储目录
                  <name>hadoop.tmp.dir</name>
                 <value>/usr/local/src/hadoop/hadoop-data</value>
         </property>

  #指定hadoop的超级用户，为后期hive查看做准备
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
</configuration>

vi  hdfs-site.xml
设置文件的副本数3和配置secondarynamenode节点

<configuration>
         <property>
                <name>dfs.replication</name>
                <value>3</value>
         </property>
         <property>
                <name>dfs.secondary.http.address</name>
                <value>node01:50090</value>
         </property>
</configuration>
 

由于这个文件不存在 于是我们需要将mapred-site.xml.tempate复制一份为mapred-site.xml，再修改
cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml  

指定mapreduce运行平台的名称 目前配置运行在yarn上 默认配置为localhost 如果不修改则默认在本地上进心运行，不会在集群上运行
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

vi yarn-site.xml
指定yarn的Resourcemanager的地址reducer获取数据的方式
<configuration>

<!-- Site specific YARN configuration properties -->
         <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>node01</value>
         </property>
         <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
         </property>
</configuration>

克隆node01至node02、node03
vi /etc/hostname
分别修改node01为node02、node03
vi /etc/sysconfig/network-scripts/ifcfg-ens33
分别修改IPADDR="192.168.1.80"为IPADDR="192.168.1.81"、IPADDR="192.168.1.82"
将node02、node03分别reboot重启

分发密钥(三台同时操作)
ssh-keygen -t rsa
ssh-copy-id node01
ssh-copy-id node02
ssh-copy-id node03

查看是否免密登录成功
三台相互操作
例：
      在node01上
      ssh node02
      登录成功再退出
      exit

格式化(使用hadoop namenode -format命令也可)
hdfs namenode -format

启动所有集群
start-all.sh

查看
jps

查看Web端：
    192.168.1.80:50070   #查看hdfs
    192.168.1.80:8088     #查看yarn集群