Hadoop

hadoop 3.1.3 伪分布式部署

安装环境：Centos7.5，只少2核4G
提前准备：Linux中要安装JDK8，Zookeeper-3.5.8

1. 关闭防火墙
   systemctl stop firewalld
   systemctl disable firewalld
2. 修改主机名 - Hadoop集群中，主机名中尽量不要出现-或者_
   vim /etc/hostname
   将原来的主机名删除，添加自己指定的主机名
3. 需要将主机名和IP进行映射
   vim /etc/hosts
   进入文件之后，除了127.0.0.1以及::1这开头的两行以外，其余的行全部删除
   之后添加当前主机的IP 主机名，例如
   10.10.153.69 hadoop01
4. 关闭SELINUX
   vim /etc/selinux/config
   将SELINUX属性的值改为disabled
5. 重启
   reboot
6. 配置免密登录
   ssh-keygen
   ssh-copy-id
   输入主机的密码
   测试是否免密成功：ssh hadoop01
   如果不需要密码，那么说明免密成功，那么输入logout
7. 进入/home/software目录，来上传或者下载Hadoop。如果是云主机，那么请利用下面的地址来下载Hadoop，严禁上传
   cd /home/software/
   wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/hadoop-3.1.3.tar.gz
8. 解压Hadoop安装包
   tar -xvf hadoop-3.1.3.tar.gz
9. 进入Hadoop的配置文件目录
   cd hadoop-3.1.3/etc/hadoop/
10. 编辑文件
    vim hadoop-env.sh
    在文件中添加JAVA_HOME，值是JDK的安装路径
    export JAVA_HOME=/home/software/jdk1.8
    保存退出，重新生效这个文件
    source hadoop-env.sh
11. 编辑文件
    vim core-site.xml
    添加内容
    
    fs.default.name
    hdfs://hadoop01:9000
    
    
    hadoop.tmp.dir
    /home/software/hadoop-3.1.3/tmp
    
12. 编辑文件
    vim hdfs-site.xml
    添加内容
    
    dfs.replication
    1
    
13. 编辑文件
    vim mapred-site.xml
    添加内容
    
    mapreduce.framework.name
    yarn
    
14. 编辑文件
    vim yarn-site.xml
    添加内容
    
    yarn.resourcemanager.hostname
    hadoop01
    
    
    yarn.nodemanager.aux-services
    mapreduce_shuffle
    
15. 编辑文件
    vim workers ------- 注意，如果是在Hadoop2.X，那么这个文件是slaves
    将原来的localhost删除掉，然后添加当前主机的主机名
16. 配置环境变量
    vim /etc/profile
    在文件末尾添加
    export HADOOP_HOME=/home/software/hadoop-3.1.3
    export PATH=$PA$