Ubuntu15 中安装hadoop2.7单机模式 （图文详细步骤）

Ubuntu15 中安装hadoop2.7单机模式 （图文详细步骤）

参考链接：http://www.cnblogs.com/kinglau/p/3794433.html

材料：

             ubuntu 15.04

          jdk 1.8.51（在ubuntu终端下载，下面详细解析）

          hadoop 2.7.1（是ubuntu终端下载，下面将详细解析）

安装：

       

    1. 在ubuntu中创建hadoop用户

            1.1. ctrl+Alt+T打开终端窗口，然后输入如下命令创建新用户。

                    $ sudo useradd -m hadoop -s -/bin/bash

            1.2. 使用下面命令修改密码（笔者密码为hadoop）

                    $ sudo passwd hadoop

            1.3. 接着为hadoop增加管理员的权限，以免之后出现权限问题。

                    $ sudo adduser hadoop sudo

                    也可以打开sudoers文件，给hadoop用户赋予和root一样的权限：

                        $sudo gedit /etc/sudoers

                        然后编辑增添如下那句hadoop       ALL(ALL:ALL)  ALL

                            

            1.4. 注销当前的账户，然后登陆刚刚创建的hadoop用户。

    

    2. 

            2.1. 安装ssh

                $sudo apt-get installl openssh-server

                然后continue YES

                   

                        

            2.2. 安装好ssh服务后，那就打开这个服务吧

                $sudo /etc/init.d/ssh start

                     

           2.3. 顺便查看下服务是否正确启动： 

               $  ps -e | grep ssh

         

            2.4.  设置免密码登录，生成私钥和公钥

                $ ssh-keygen -t rsa -P ""

                在输入路径那儿笔者直接回车，这样在／home／hadoop/.ssh里面生成两个文件 id_rsa、id_rsa.pub，前者是私钥，后者是公钥。

            2.5. 接着将公钥追加到authorized_keys里面，它保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。

                $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

                

            2.6. 登陆ssh

                $ssh hadoop@localhost

                接着输入yes

              

            2.7. 退出

                $exit

    3. 安装java环境

        3.1 下载jdk二进制编译包

        下载用wget软件，wget软件在ubuntu下的安装命令如下：

            sudo apt-get install wget

        

        用wget下载jdk包的命令格式为：

                wget url链接 -o 输出文件名

           例如：

            wget  http://download.oracle.com/otn-pub/java/jdk/8u51-b16/jdk-8u51-linux-x64.tar.gz?AuthParam=1437810421_1d235bda6e9428e1caa05d0fd7951c6d -o jdk-x64.tar.gz

            

        3.2 解压安装

             3.2.1 复制解压

              先是把压缩包复制到欲安装目录下：

                cp jdk-x64.tar.gz /usr/local/

               进入上述目录解压：

                cd /usr/local/

                tar xzvf jdk-x64.tar.gz

                若权限不足则还需要加上sudo:

                sudo cp jdk-x64.tar.gz /usr/local/

                cd /usr/local/

                sudo tar xzvf jdk-x64.tar.gz

                

                本人下载时的版本是1.8.0_51，故在/usr/local/目录下解压生成的jdk目录是/usr/local/jdk-1.8.0_51

            3.2.2 配置路径安装

                打开配置文件：

                    sudo vim /etc/profile

                添加以下命令语句：

                    export JAVA_HOME=/usr/local/jdk-1.8.0_51

                    export PATH = $JAVA_HOME/bin:$PATH

                    export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

                应用配置：

                    source /etc/profile

                测试成功：

                    java -version

    

    4. 安装hadoop

        4.1. 解压：

            sudo tar xzf hadoop-2.7.1.tar.gz（一定不要下载rpm的，这个是redhat等系统的软件安装包，在ubuntu中是tar.gz这种才行。）

        4.2. copy到/usr/local/中，并命名为hadoop 

              sudo mv hadoop-2.7.1 /usr/local/

              cd /usr/local

              sudo mv hadoop-2.7.1 hadoop

        

        4.3. 修改目录主人

             sudo chown hadoop:hadoop -R -f /usr/local/hadoop/ 

    

        4.4. 配置

              打开配置文件:

                sudo vim /etc/profile

               添加以下命令语句：

                

                    export HADOOP_INSTALL=/usr/local/hadoop

                    export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

                    export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

                    export HADOOP_COMMON_HOME=$HADOOP_INSTALL

                    export HADOOP_HDFS_HOME=$HADOOP_INSTALL

                    export YARN_HOME=$HADOOP_INSTALL

               export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

                    export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

   

5. 测试

    进入 hadoop目录：

        cd /usr/local/hadoop

    运行官方测试样例：

            bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

（默默说句，其实在文章开头链接所指教程中，我弄到一半，然后就出现很多错误，比如安装jdk后还是找不到version、解压失败、以及配置环境时候各种出错。幸亏有进益大神一直指点，然后帮我配环境调bug等等等等。最后终于成功运行了WordCount。现在对WordCount具体代码实现还是半头雾水，还在接下日子慢慢揭开hadoop的面纱。）