Hadoop安装-CSDN博客

本文链接：https://blog.csdn.net/weixin_52923290/article/details/123669419

基础配置

1、关闭防火墙
        systemctl stop firewalld.service #停止firewall
        systemctl disable firewalld.service #禁止firewall开机启动
    查看防火墙状态
        firewall-cmd --state
        systemctl status firewalld.service
    启动防火墙
        systemctl start firewalld.service

2、修改主机名
    第一种
        hostnamectl set-hostname 名称
    第二种
        vim /etc/hostname
    查看主机名
        hostnamectl status

3.关闭networkmanage服务
    systemctl status NetworkManager #查看NetworkManager状态
    systemctl stop NetworkManager   #停止NetworkManager
    systemctl disable NetworkManager#禁止NetworkManager开机启动

4、修改ip地址

    vim /etc/sysconfig/network-scripts/ifcfg-ens33

    TYPE=Ethernet
    PROXY_METHOD=none
    BROWSER_ONLY=no
    BOOTPROTO=none
    DEFROUTE=yes
    IPV4_FAILURE_FATAL=no
    NAME=ens33
    DEVICE=ens33
    ONBOOT=yes
    IPADDR=192.168.129.211
    NETMASK=255.255.255.0
    GATEWAY=192.168.129.2
    DNS1=192.168.129.2

5.卸载自带jdk
    查看自带jdk
        rpm -qa |grep jdk
    卸载:
        rpm -e 自带jdk名称 --nodeps

6.安装jdk
    上传jdk1.8.0_171到/usr/local/module
    解压jdk到soft
        cd /usr/local/module 
        tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/soft

    配置环境变量
        vim /etc/profile
        增加
            export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
            export PATH=$PATH:$JAVA_HOME/bin

7.映射关系
    ip地址 主机名
    linux配置路径vim /etc/hosts
    windows配置路径C:\Windows\System32\drivers\etc\hosts

8.修改启动级别之后重启
    systemctl set-default multi-user.target #无界面
    
克隆两台然后  
9.免密配置
    ssh-keygen -t rsa 然后三次回车
    ssh-copy-id -i 主机名，主机包括本机

安装hadoop

上传hadoop-2.7.6.tar.gz 到module
    解压:tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/
        注意:必须在解压在/usr/local/soft/
配置环境变量:
    export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
    PATH中新加$HADOOP_HOME/bin:$HADOOP_HOME/sbin

1.修改slaves  位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/slaves 
    删除原有内容
    新加从节点主机名
    node1
    node2

2.修改hadoop-env.sh 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/hadoop-env.sh
    删除export JAVA_HOME=${JAVA_HOME}
    新加export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

3.修改core-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/core-site.xml
在core-site.xml标签configuration中复制一下内容

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>

4.修改hdfs-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/hdfs-site.xml 
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>

5.修改yarn-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

6.修改mapred-site.xml 位置/usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml
cp /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml.template /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>  
    <name>mapreduce.jobhistory.address</name>  
    <value>master:10020</value>  
</property>  
<property>  
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>master:19888</value>  
</property>

7.hadoop分发到node1和node2
    scp -r /usr/local/soft/hadoop-2.7.6 node1:/usr/local/soft
    scp -r /usr/local/soft/hadoop-2.7.6 node2:/usr/local/soft

8.启动hadoop
    在master格式化
    hdfs namenode -format
    start-all.sh 开始运行    stop-all.sh 停止运行
    google浏览器输入master:50070

如果安装失败

stop-all.sh
    再次重启的时候
    1.需要手动将每个节点的tmp目录删除: 所有节点都要删除
        rm -rf /usr/local/soft/hadoop-2.7.6/tmp
        然后执行将namenode格式化
    2.在主节点执行命令:
        hdfs namenode -format
    3.启动hadoop
        start-all.sh