Ubuntu 12.04搭建hadoop单机版环境

一.系统配置

     Ubuntu 12.04.3 LTS 64位

     hadoop 2.2.0

     jdk1.8.0_05(sunjdk)

二.创建新用户及用户组

     创建一个新组叫“hadoop”，创建一个新用户也叫“hadoop”属于“hadoop”组

     $ sudo addgroup hadoop

     $ sudo adduser -ingroup hadoop hadoop

     给hadoop用户添加权限，打开/etc/sudoers文件

     $ sudo vim /etc/sudoers

     给hadoop用户赋予root用户同样的权限：

     在root    ALL=(ALL:ALL) ALL后面添加：
         hadoop    ALL=(ALL:ALL) ALL

三.安装ssh

     $ sudo apt-get install openssh-client openssh-server ssh

四.配置ssh服务

     现在操作要在hadoop用户下完成了

     $ su - hadoop

     建立ssh信任，创建ssh-key，默认用rsa方式

     $ ssh-keygen -t rsa -P ""

     按回车后在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub

     进入~/.ssh目录，将id_rsa.pub追加到authorized_keys授权文件中

     $ cd ~/.ssh

     $ cat id_rsa.pub >> authorized_keys

     完成后就可以无密码登陆本机了

     验证：

     $ ssh localhost

     执行退出命令：

     $ exit

     (我没有给rsa密钥设密码，若想设，可以用ssh-agent管理：

       $ ssh-add ~/.ssh/id_rsa)

五.配置hadoop

     1.打开hadoop-env.sh，修改JAVA_HOME的值：

        export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05

     2.打开yarn-env.sh，修改JAVA_HOME的值：

        export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05

     3.打开/etc/profile，添加如下：

        #set java environment
        JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05
        export HADOOP_INSTALL=/home/hadoop/hadoop
        export JRE_HOME=/usr/lib/jvm/jdk1.8.0_05/jre
        export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
        export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$HADOOP_INSTALL/bin

     4.打开core-site.xml，修改为下：

        <configuration>
            <property>
              <name>fs.default.name</name>
              <value>hdfs://localhost:9000/</value>
            </property>
           <property>
             <name>hadoop.tmp.dir</name>
             <value>/home/hadoop/hadoop/tmp</value>
           </property>
        </configuration>

     5.打开mapred-site.xml，修改为下：

        <configuration>
          <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
          </property>
        </configuration>

     6.打开hdfs-site.xml，修改如下：

        <configuration>
          <property>
            <name>dfs.namenode.name.dir</name>
            <value>/home/hadoop/hadoop/name</value>
          </property>
          <property>
            <name>dfs.datanode.data.dir</name>
            <value>/home/hadoop/hadoop/data</value>
          </property>
          <property>
            <name>dfs.replication</name>
            <value>2</value>
          </property>
        </configuration>

     7.masters和slavers里均填localhost

     8.对/home/hadoop下的hadoop文件夹进行设置

        $ sudo chown -R hadoop:hadoop hadoop

六.格式化并启动hadoop

     $ cd hadoop

     $ bin/hadoop namenode -format

     $ sbin/start-all.sh

     检查并测试样例

     $ jps

     $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar randomwriter out