mhys666666

安装Hadoop完全分布式：首先要安装JDK和MYSQL，安装完成JDK才可以安装hadoop
    配置IP
    vi /etc/sysconfig/network-scripts/ifcfg-ens33
    BOOTPROTO=static # 将 dhcp 换成 static
    ONBOOT=yes # 将 no 换成 yes
    IPADDR=192.168.85.80 # 静态 IP
    GATEWAY=192.168.85.2 # 默认网关
    DNS1=114.114.114.114
    输入：service network restart
    配置host
    输入：vi /etc/hosts
    追加配置：
    192.168.200.80 master
    192.168.200.81 slave01
    192.168.200.82 slave02
    输入：scp -r /etc/hosts slave01:/etc/hosts
    scp -r /etc/hosts slave02:/etc/hosts

安装Hadoop完全分布式：
1》配置环境变量
    1）将hadoop安装包上传到虚拟机中
    2）解压hadoop安装包到指定位置：
       tar -zxvf hadoop-3.1.3.tar.gz -C /opt/soft
    3）进入/opt/soft下，对解压的目录进行重命名
       cd /opt/soft
       mv hadoop-3.1.3/ hadoop
    4）配置环境变量：
       vim /etc/profile
      加入：
       export HADOOP_HOME=/opt/soft/hadoop
       export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

       source /etc/profile
    5）输入hadoop version查看一下
    6）进入到hadoop中配置文件的目录，修改5个配置文件：
        cd /opt/soft/hadoop/etc/hadoop/
       1》
        vim hadoop-env.sh
        更改jdk的路径配置
        export JAVA_HOME=/opt/soft/jdk

2》vim core-site.xml（配置namenode的通信地址和hadoop数据文件存放的目录）
      在<configuration>标签之间加入下列内容：
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/data/hadoop</value>
    </property>

         【注意：上面的master是作为namenode机器的主机名】
         【注意：hadoop.tmp.dir这个目录不能存在，启动时会自动创建的】

 3》vim hdfs-site.xml（数据存入hdfs后产生的副本数）
       在<configuration>标签之间加入下列内容：
        <property>
            <name>dfs.replication</name>
            <value>3</value>
        </property>

4》vim mapred-site.xml.template（执行mapreduce使用yarn资源调度来进行）
        在<configuration>标签之间加入下列内容：
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>

5》vim yarn-site.xml（配置resnourcemanager资源调度管理者的机器是谁、最下面两个mem-check是关闭内存检测功能）
      在<configuration>标签之间加入下列内容：

        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
        </property>
        <property>
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
        </property>

        【注意：master是主机名】

6》workers【注意配置datanode的节点机器】
vim slaves
     将里面原来的localhost干掉，添加三台机器的主机名
        master
        slave01
        slave02

7》将配置好的hadoop远程分发给另外两台机器：
  scp -r /opt/soft/hadoop slave01:/opt/soft
  scp -r /opt/soft/hadoop slave02:/opt/soft

  scp /etc/profile slave01:/etc
  scp /etc/profile slave02:/etc

  在slave01机器上：source /etc/profile
  在slave02机器上：source /etc/profile
8》格式化namenode
   hdfs namenode -format
   【如果需要重置hadoop文件系统重新格式化的话，那么将core-site.xml中配置的那个hadoop.tmp.dir目录给删了，让其重新创建】

9》启动hadoop集群（在主节点上）
  1>一键启动所有：start-all.sh
  2>分开启动：
          a》启动hdfs：  start-dfs.sh
          b》启动yarn：  start-yarn.sh

  停止hadoop，在主节点上执行：stop-all.sh

10》检测是否成功：
  1）在主节点上输入 jps：
       namenode
       datanode
       nodemanager
       resourcemanager
       seccondarynamendoe

stop-all.sh

如果没有datanode 则进入 /opt/data/hadoop 将hadoop删除

scp -r /opt/soft/hadoop slave01:/opt/soft
scp -r /opt/soft/hadoop slave02:/opt/soft

再次格式化namenode
hdfs namenode -format
start-all.sh

[如果slave01，slave02，jps也没有datanode，则先将master stop-all.sh
再进入/opt/data/hadoop 将hadoop删除
格式化namenode
hdfs namenode -format
再进入将master start-all.sh
jps就行了

       
      在其他从机节点上输入jps：
      datanode
      nodemanager
 2）打开浏览器，输入（主节点虚拟机IP+9870）：http://192.168.217.80:9870 
9870不行就用50070
 确认是否可以打开hadoop的webUI管理界面