CentOS7下部署Hadoop2.X--伪分布模式

一、部署JAVA--(使用root用户)
  1、上传Oracle公司的Java组件--jdk1.8.0_151
    A）、cd /uar/java
    B）、执行rz -be->选择本地JDK组件->添加文件->确定上传
  2、解决安装包-->tar -zxvf jdk-8u151-linux-x64.tar.gz
  3、给解压文件夹赋权：chmod 775 jdk1.8.0_151
  4、设置环境变量：
         vi /etc/profile
            export JAVA_HOME=/usr/java/jdk1.8.0_151
            export PATH=$JAVA_HOME/bin:$PATH
  5、生效环境变量：source /etc/profile
  6、验证命令：java -version和which java

二、部署ssh服务是否运行(使用root用户)
  service sshd status
  提示：openssh-daemon (pid  5124) is running...
  注：如未安装使用yum install -y ssh

三、修改hosts文件(使用root用户)
  vi /etc/hosts
    192.168.40.130  hadoop001
  cat /etc/hosts

四、配置ssh对等性(使用hadoop用户)
  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  chmod 0600 ~/.ssh/authorized_keys

  测试：ssh hadoop1 date(第一次需要输入yes，之后需要输入即可显示远程时间)

五、部署Hadoop--伪分布模式
  1、使用root用户在/opt中创建software、sourcecode目录，并赋权权限
     cd /opt
     mkdir software sourcecode
     chown hadoop:hadoop software sourcecode
  2、上传hadoop-2.8.1.tar.gz(使用hadoop用户)
    A）、cd /opt/software
    B）、执行rz -be->选择本地hadoop-2.8.1.tar.gz文件->添加文件->确定上传
  3、解决安装包-->tar -zxvf hadoop-2.8.1.tar.gz(使用hadoop用户)
  4、配置环境变更(使用hadoop用户)
     vi ~/.bash_profile
       export HADOOP_HOME=/opt/software/hadoop-2.8.1
       export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
     环境变量生效：source ~/.bash_profile
     验证环境变更：echo $HADDOP_HOME，输出为：/opt/software/hadoop-2.8.1则为正常
                   which hadoop，输出为：/opt/software/hadoop-2.8.1/bin/hadoop则为正常
  5、配置hadoop伪分布模式参数：
     A)、进入hadoop安装目录：cd $HADOOP_HOME/etc/hadoop
     B)、修改hadoop-env.sh文件，并文件中export JAVA_HOME=${JAVA_HOME}修改为：export JAVA_HOME=/usr/java/jdk1.8.0_151
         vi hadoop-env.sh
           export JAVA_HOME=${JAVA_HOME}  --->  export JAVA_HOME=/usr/java/jdk1.8.0_151
         退出保存(:wq)
     C)、修改core-site.xml文件，在与中新增如下内容：
         vi core-site.xml
             
               fs.defaultFS
               hdfs://192.168.40.130:9000
             

             
               hadoop.tmp.dir
               /opt/software/hadoop-2.8.1/tmp
             
         退出保存(:wq)
     D)、修改hdfs-site.xml文件，在与中新增如下内容：
         vi hdfs-site.xml
             
               dfs.replication
               1
             

           
             dfs.namenode.secondary.http-address
             192.168.40.130:50090
           

         
            dfs.namenode.secondary.https-address
            192.168.40.130:50091
         
         退出保存(:wq)
     E)、修改slaves文件，将localhost修改为192.168.40.130：
         vi slaves
            192.168.40.130
         退出保存(:wq)
     F)、修改yarn-site.xml文件，在与中新增如下内容：
         vi yarn-site.xml
          
            yarn.nodemanager.aux-services
            mapreduce_shuffle
         
         退出保存(:wq)
     G)、修改mapred-site.xml文件，在与中新增如下内容：
        cp mapred-site.xml.template mapred-site.xml
         vi mapred-site.xml
           
              mapreduce.framework.name
              yarn
           
         退出保存(:wq)
  6、在hadoop文件夹中创建tmp目录
     cd /opt/software/hadoop-2.8.1
     mkdir tmp

  7、格式化HDFS：hdfs namenode -format
     提示：
17/12/15 09:56:24 INFO namenode.FSImage: Allocated new BlockPoolId: BP-1926188112-192.168.40.130-1513302984957
17/12/15 09:56:25 INFO common.Storage: Storage directory /opt/software/hadoop-2.8.1/tmp/dfs/name has been successfully formatted.
17/12/15 09:56:25 INFO namenode.FSImageFormatProtobuf: Saving image file /opt/software/hadoop-2.8.1/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
17/12/15 09:56:25 INFO namenode.FSImageFormatProtobuf: Image file /opt/software/hadoop-2.8.1/tmp/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 323 bytes saved in 0 seconds.
17/12/15 09:56:25 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/12/15 09:56:25 INFO util.ExitUtil: Exiting with status 0
17/12/15 09:56:25 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at spark220/192.168.40.130
************************************************************/
   8、启动HDFS服务：start-dfs.sh
   
   9、启动Yarn服务：start-yarn.sh

       注：如需同时启动，则执行strat-all.sh

    10、验证：
      A)、输入：jps，返回如下信息：
         3536 NodeManager
         3234 SecondaryNameNode
        3046 DataNode
        2938 NameNode
        3422 ResourceManager

  B)、上传文件测试：
      hdfs dfs -mkdir /input            ==>创建目录input
      hdfs dfs -ls /input               ==>查看目录
      hdfs dfs -put slaves /input       ==>上传文件到input目录
      hdfs dfs -ls /input               ==>查看目录(-rw-r--r--   1 hadoop supergroup         15 2017-12-15 10:07 /input/slaves)


注：
   停止HDFS、YARN命令：
   sbin/stop-yarn.sh
    sbin/ stop-hdfs.sh
   或者：sbin/stop-all.sh
---------------------完---------------------------

 若泽大数据交流群：671914634

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31511218/viewspace-2148742/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31511218/viewspace-2148742/