hadoop伪分布式集群在centos上的搭建

前置条件：

    1.centos系统

    2. 普通用户hyxy

    3. 用户目录  ~  下新建一个  soft  文件夹（用于存放安装的文件）

    4. jdk1.8 版本安装包，hadoop2.7.3 版本安装包

    5. 修改主机名为master  （必须切换为root用户）

        a. 切换为root用户

            $>su root    

        b. 修改/etc/sysconfig/network 文件

            $>vim  /etc/sysconfig/network

                【HOSTNAME=master】

        c. 修改/etc/hosts 文件

            $>vim  /etc/hosts

                追加内容 【本机ip  主机名】例如：【192.168.x.x  master】

                

安装过程：

    1.解压jdk安装包到~/soft文件夹下，配置环境变量

        a.  解压jdk

            $>tar  -zxvf  jdk.XXX 

        b.  生成软连接

            $>ln  -s  jdk.xxx  jdk（在soft中）

        c.  配置环境变量

            $>vim  ~/.bash_profile

            文件后追加：

                export  JAVA_HOME=/home/hyxy/soft/jdk

                export  PATH=$PATH:$JAVA_HOME/bin

        d.  使环境变量生效，测试是否安装成功

            $>source  ~/.bash_profile    //source的文件只会在当前的终端中生效，重启后才真正一直可用(后面还有需要重启的内容)

            $>java -version    //测试安装成功

    2.配置SSH免密码登录

        a.  生成密钥

            $>ssh-keygen  -t  rsa  -P  ''  -f  ~/.ssh/id_rsa 

                【-t表示生成密钥的算法，-P后是设置密码（默认空），-f表示密钥的生成位置】

        b.  把公钥 id_rsa.pub 的内容加进认证库 authorized_keys

            $>cat  ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

        c. 修改~/.ssh的权限为 700，~/.ssh/authorized_keys的权限为 600

            $>chmod  700  ~/.ssh

            $>chmod  600  ~/.ssh/authorized_keys

        c.验证免密码登录

            $>ssh master

    3.安装hadoop，配置hadoop

        a.解压 hadoop2.7.3 安装包到~/soft

            $>tar  -zxvf  hadoop2.7.3

        b.  生成软连接

            $>ln  -s  hadoop2.7.3  hadoop（在soft中）

        c.  配置环境变量

            $>vim  ~/.bash_profile

            文件后追加：

                export  HADOOP_HOME=/home/hyxy/soft/hadoop

                export  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

        d.  使环境变量生效，测试是否安装成功

            $>source  ~/.bash_profile    //source的文件只会在当前的终端中生效，重启后才真正一直可用

            $>hdfs    //测试安装成功

        e. 配置hadoop中的~/soft/hadoop/etc/hadoop/hadoop-env.sh

            $>vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

                找到其中jdk变量的引用，修改为【export JAVA_HOME=/home/hyxy/soft/jdk】

                （因为hadoop默认配在ubuntu上，引用jdk的写法与centos不同，所以需要重写）

        f.配置hadoop中的 ~/soft/hadoop/etc/hadoop/core-site.xml

            $>vim  $HADOOP_HOME/etc/hadoop/core-site.xml

                在文件中添加：

                <configuration>
                    <property>
                        <name>fs.defaultFS</name>
                        <value>hdfs://localhost:9000</value>
                    </property>
                </configuration>

        g.配置hadoop中的 ~/soft/hadoop/etc/hadoop/hdfs-site.xml

             $>vim  $HADOOP_HOME/etc/hadoop/core-site.xml

                在文件中添加：

                    <configuration>

                    <property>
                        <name>dfs.replication</name>
                        <value>1</value>
                    </property>
                </configuration>

        h.关闭防火墙和SELinux（切换为root用户）

        i. 格式化节点

            $>hdfs namenode -format

        j. 运行hadoop，判断是否成功安装

            $>start-dfs.sh        //运行hadoop

            $>jps        //查看有几个，如果成功，应该有DataNode，NameNode，SecondaryNameNode，Jps 4个

            打开浏览器，地址栏输入 ip:50070，看是否在hadoop网页上。