配置伪分布式Hadoop

一、Linux新用户创建：

1.用户创建

 useradd

2.设置新用户密码

 passwd

3.为用户添加sudo权限

 1） 用vim打开sudo权限设置文件

     vim /etc/sudoers

 2） 找到"root ALL=(ALL:ALL) ALL"这一行，复制黏贴到下一行

     yyp

 3)  将复制的这行root改为自己创建的用户名

 4） 保存退出

     esc :wq

 注：添加sudo权限需要使用root账号或者本身有sudo权限的账号

二、SSH免密码登陆

1.确定本机已经安装ssh服务

  yum install openssh-server openssh-clients -y

  或者 yum install openssh* -y

  注：-y在yum安装依赖包表示同意直接安装，无需确定

2.转到当前用户文件夹的根目录

  cd ~

3.生成私钥和公钥

  ssh-keygen -t rsa

4.进入生成的文件夹中

  cd .ssh

  注：在Linux中，文件夹前面的"."代表该文件夹是隐藏文件夹，查看所有文件夹的命令是"ls -a"

5.将公钥拷贝到authorized_keys文件中

  cat id_rsa.pub >> authorized_keys

  注: cat是列出文件夹中内容的命令， ">>"是重定向操作符，在这里表示将id_rsa.pub文件的内容

      重定向到authorized_keys中

6.验证免登陆是否成功

  ssh localhost 如果无需输入密码则表示输入成功，否则很可能是权限问题

7.解决权限问题导致的免密码登录失败

  1) 修改.ssh文件夹中的所有文件权限

     chmod 600 *

  2）修改.ssh文件夹的权限

     I. 先退出到上一层目录

        cd ..

     II. 修改.ssh文件夹的权限

        chmod 700 .ssh

  3) 再次验证是否成功（到这里如果还不成功，多半是自己哪里操作失误了，清对照步骤仔细检查）

三、根据Hadoop文档配置伪分布式Hadoop

 1.打开Apache Hadoop 官网，参照官网给出的步骤安装(需要英文较好，推荐这样)，也可以参考如下步骤：

   http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html

   1）解压Hadoop tar包，进入到Hadoop配置目录中

      cd etc/hadoop

   2) 配置JAVA_HOME环境变量

      vim hadop-env.sh

      在JAVA_HOME的"="号后面输入你自己的JDK安装路径

      注：2.7.3版本是25行,vim中直接跳转到某一行的命令是:行号

      vim yarn-env.sh

      在23行下设置JAVA_HOME=你自己的JDK安装路径

   3）配置core-site.xml

      <configuration>

          <property>

               <name>fs.defaultFS</name>

               <value>hdfs://localhost:9000</value>

          </property>

      </configuration>



   4) 配置hdfs-site.xml

      <configuration>

           <property>

                <name>dfs.replication</name>

                <value>1</value>

           </property>

           <property>  

        <name>dfs.namenode.name.dir</name>  

        <value>file:/home/hadoop/soft/hadoop/hadoop-2.7.3/dfs/name</value>  

       </property>  

       <property>  

                <name>dfs.datanode.data.dir</name>  

        <value>file:/home/hadoop/soft/hadoop/hadoop-2.7.3/dfs/data</value>  

       

     </configuration>

      注：这里我们hadoop放在了/home/hadoop/soft/hadoop/下，后面两个值需要同学们根据自己的路径做修改

   5) 配置yarn-site.xml

      <configuration>    

    <property>  

         <name>mapreduce.framework.name</name>  

         <value>yarn</value>  

    </property>  

    <property>  

         <name>yarn.nodemanager.aux-services</name>  

         <value>mapreduce_shuffle</value>  

    </property>  

     </configuration> 

  6）配置mapred-site.xml 这个需要自己创建

     <configuration>  

    <property>  

          <name>mapreduce.jobtracker.address </name>  

          <value>192.168.0.167:9001</value>  

    </property>  

    </configuration>  

  7) 格式化hdfs

     在hadoop安装目录的根目录下执行

     ./bin/hadoop namenode -format

     如果输出信息中出现format successfully则表明格式化成功

  8) 启动hadoop

     ./sbin/start-all.sh

  9) 查看是否启动完全

     输入 jps 命令

     如果有下面几个进程，则表明启动成功(注：启动可能需要几秒钟时间)

     SecondaryNameNode

 DataNode

 NodeManager

 ResourceManager

 NameNode

  10）浏览器访问：http://localhost:50070和http://localhost:8088

      如果出现集群管理页面和进程管理页面则表明已经安装启动成功！