Hadoop的伪分布式安装方式

Hadoop的伪分布式安装

1. 安装JDK1.8（原因：由于Hadoop是java进程，所以需要添加jdk,所以一般需要在hadoop运行的配置文件hadoop-env.sh中）

2. 关闭防火墙
   service iptables stop
   chkconfig iptables off
   ###如果不能修改主机名，则关闭云主机的初始化服务
   service cloud-init stop
   service cloud-init-local stop
   chkconfig cloud-init off
   chkconfig cloud-init-local off

3. 修改主机名 - Hadoop集群中，不建议主机名中出现-或者_
   vim /etc/sysconfig/network
   修改HOSTNAME属性
   HOSTNAME=hadoop01
   保存退出，重新生效
   source /etc/sysconfig/network

4. 配置IP和主机名的映射
   vim /etc/hosts
   添加IP 主机名映射，例如
   127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
   ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
   0.0.0.1 hadoop01
   （注意：IP写你自己的云主机IP）
   保存退出

5. 重启
   reboot

6. 配置免密互通
   产生密钥：ssh-keygen
   拷贝公钥：ssh-copy-id root@hadoop01
   云主机密码：输入你自己的云主机密码;
   测试是否成功：ssh root@hadoop01
   如果不需要密码：logout
   *** 如果出现Name or Service not known或者Unknown host，那么说明IP映射错误

7. 进入/home/software目录
   cd /home/software

8. 下载Hadoop安装包
   wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/hadoop-2.7.1_64bit.tar.gz

9. 解压
   tar -xvf hadoop-2.7.1_64bit.tar.gz

10. 进入子目录
    cd hadoop-2.7.1/etc/hadoop

11. 编辑
    vim hadoop-env.sh
    修改
    export JAVA_HOME=/home/presoftware/jdk1.8
    export HADOOP_CONF_DIR=/home/software/hadoop-2.7.1/etc/hadoop/
    保存退出，重新生效
    source hadoop-env.sh

12. 编辑
    vim core-site.xml
    添加
    
    fs.defaultFS
    hdfs://hadoop01:9000
    
    
    hadoop.tmp.dir
    /home/software/hadoop-2.7.1/tmp
    

13. 编辑
    vim hdfs-site.xml
    添加
    
    dfs.replication
    1
    

14. 编辑
    cp mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    添加
    
    mapreduce.framework.name
    yarn
    

15. 编辑
    vim yarn-site.xml
    添加
    
    yarn.resourcemanager.hostname
    hadoop01
    
    
    yarn.nodemanager.aux-services
    mapreduce_shuffle
    

16. 编辑
    vim slaves
    添加云主机的名字

17. 配置环境变量
    vim /etc/profile
    在文件末尾追加
    export HADOOP_HOME=/home/software/hadoop-2.7.1
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    保存退出，重新生效

18. Hadoop第一次启动的时候需要进行格式化
    hadoop namenode -format
    如果出现Storage directory /home/software/hadoop-2.7.1/tmp/dfs/name has been successfully formatted表示格式化成功
    ***如果出现Command not found：环境变量配置错误或者是配置完环境变量没有source
    ***如果出现其他错误，那么说明配置文件写错，查找core-site.xml或者是hdfs-site.xml
    ***如果出现JDK找不到，那么说明hadoop-env.sh配置错误或者没有source
    ***上述错误修改完成之后，查看/home/software/hadoop-2.7.1目录下是否tmp，如果有tmp目录，修改完错误之后删除这个目录再重新格式化

19. 启动Hadoop
    start-all.sh （停止的命令：stop-all.sh）

20. 通过jps查看进程
    jps
    NameNode — 50070
    DataNode — 50075
    SecondaryNameNode — 50090
    ResourceManager — 8088
    NodeManager
    当你jps完之后如上显示，恭喜你，success！！！