搭建Hadoop2.7.3伪分布式

hadoop伪分布搭建流程

准备工作:

1、jdk-8u162-linux-x64.tar

2、hadoop.2.7.3.tar.gz

1、上传压缩包到指定目录下

本人是CentOS-6.8-x86_64;搭建Hadoop建议创建一个新的用户；本人把hadoop搭建在hyxy用户下；

压缩包上传到hyxy的新建目录soft下，此次操作都在hyxy用户下进行；

2、解压相关软件

  $>tar -zxvf jdk1.8.XXX.tar.gz
             $>tar -zxvf hadoop.2.7.3.tar.gz

3.创建软连接

$>ln -s jdk1.8.0_121/ jdk
            $>ln -s hadoop-2.7.3/ hadoop

4.修改环境变量

          $>cd ~
          $>gedit ~/.bash_profile

          在文件最后追加以下指令：
          #jdk install
            export JAVA_HOME=/home/hyxy/soft/jdk
            export PATH=$JAVA_HOME/bin:$PATH

           #hadoop install
             export HADOOP_HOME=/home/hyxy/soft/hadoop
             export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
             $>source .bash_profile
            注意：刷新完之后，当前回话可用；建议reboot（重启）

5.配置SSH

a.修改hostname
              $>su root
              $>gedit /etc/sysconfig/network
            【HOSTNAME=master】 
            b.修改hosts文件
              $>gedit /etc/hosts
             【在文件后追加：ip 主机名：192.168.142.138 master】
            c.reboot;
            d.生成秘钥
              $>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
             【说明:-t设置生成秘钥的算法，采用的rsa；-P设置密码，默认为空；-f设置秘钥生成的文件位置，~/.ssh】  
            e.生成认证库
              $>cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
            f.修改认证库的权限为600
               $>chmod 600 ~/.ssh/authorized_keys
            g.ssh master   
       
            //无密登录成功！！！！exit退出当前的ssh；

6.配置hadoop

a.找到hadoop的配置路径：cd  $HADOOP_HOME/etc/hadoop
          b.修改core-site.xml
            <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://localhost:9000</value>
          </property>
         c.修改hdfs-site.xml
           <property>
                   <name>dfs.replication</name>
                   <value>1</value>
             </property>
       d.修改hadoop-env.sh中的JAVA_HOME变量
            【export JAVA_HOME=/home/hyxy/soft/jdk】
       e.格式化HDFS
            $>hdfs namenode -format
       f.开启hadoop守护进程
            $>start-dfs.sh    //开启HDFS

官网：http://hadoop.apache.org/  没事去官网看一下，就当刷微信步数了!!!