Ubuntu14.04下安装Hadoop2.4.0 --- 单机模式

转自：http://blog.sina.com.cn/s/blog_675e4f240102uwim.html

一、在Ubuntu下创建hadoop组和hadoop用户

       

Ubuntu版本：ubuntu-14.04-desktop-amd64+mac（32位的配置方法类似）

Hadoop版本：hadoop-2.4.0

增加hadoop用户组，同时在该组里增加用户hadoopusr1，后续在涉及到hadoop操作时，我们使用该用户。

 

1、创建hadoop用户组

 

 

 

    2、创建hadoop用户

    

    sudo adduser -ingroup hadoop hadoopusr1

    回车后会提示输入新的UNIX密码，这是新建用户hadoopusr1的密码，输入回车即可。

    如果不输入密码，回车后会重新提示输入密码，即密码不能为空。

    最后确认信息是否正确，如果没问题，输入 Y，回车即可。

    

 

 

 

 

 

  

 

    3、为hadoop用户添加权限

 

     输入：sudo gedit /etc/sudoers

     回车，打开sudoers文件

     给hadoop用户赋予和root用户同样的权限

修改如下：

  

  

 

二、用新增加的hadoop用户登录Ubuntu系统

 

三、安装ssh

确认已经连上互联网，输入命令（在线安装），如需密码输入即可，遇到yes/no输入yes即可：

sudo apt-get install openssh-server

注：若没联网，可手动下载openssh-client和openssh-server及其相关依赖软件包，下载完拷贝到Linux环境下，按照命令依次安装。本版本Linux自带openssh-client，无需再安装（除非升级需要），只需根据需要安装openssh-server及其相关依赖包，列举如下（32位为例）：

libck-connector0_0.4.5-3.1ubuntu2_i386.deb

openssh-sftp-server_6.6p1-2ubuntu1_i386.deb

openssh-server_6.6p1-2ubuntu1_i386.deb

安装.deb命令如下：

    sudo  dpkg  -i  package.deb

此外，要注意openssh-client和openssh-server的版本型号要对应，如不对应会出现安装失败，可重新更换为对应型号软件包再安装即可。

安装完成后，启动服务

sudo /etc/init.d/ssh start

 

查看服务是否正确启动：ps -e | grep ssh

 

 

  

 

设置免密码登录，生成私钥和公钥

ssh-keygen -t rsa -P ""

 

 

 

 

 

 

 

 

 

 

 

 

 

此时会在／home／hadoopusr1/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥。

下面我们将公钥追加到授权的key(authorized_keys)中，它为用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  

登录ssh

ssh localhost

  

退出

exit

四、安装Java环境

确认已经连上互联网，输入命令（在线安装），如需密码输入即可，遇到yes/no输入yes即可：

sudo apt-get install openjdk-7-jdk

  

 注：或者将已下载的压缩包，直接解压即可，如解压到：usr/lib/jvm下：

可以先将jdk-8u5-linux-x64.tar.gz右键“ExtractHere“,然后移动到usr/lib/jvm/

若用命令，如下：

先在usr/lib下建立一个专用的java工作区，如命名为jvm：  sudo mkdir jvm

cd到jdk-8u5-linux-x64.tar.gz所在文件夹，就地解压：   sudo tar -zxvf jdk-8u5-linux-x64.tar.gz

将解压后的文件夹jdk1.8.0_05移到指定的java工作区:       sudo mv jdk1.8.0_05/ /usr/lib/jvm

接下来，配置环境变量：

   1. 设置环境变量，转到根目录用gedit打开/etc/profile文件

     sudo gedit /etc/profile

     在文件的最后面添加：

#set Java Environment

 

     export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05

     export JRE_HOME=$JAVA_HOME/jre     

     export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

   2. 将系统默认的jdk修改过来

 

     sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_05/bin/java 300

     sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_05/bin/javac 300

     sudo update-alternatives --config java 
     sudo update-alternatives --config javac

   3. 查看安装结果，输入命令：java -version，结果如下表示安装成功。

五、安装hadoop2.4.0

    1、官网下载http://mirror.bit.edu.cn/apache/hadoop/common/

 

    2、安装

（注：期间若出现文件权限不足导致某些文件（夹）不能访问时，可使用 sudo chmod a+rwx 目标文件夹

来解除权限控制。Ubuntu chmod命令使用方法详解：http://www.startos.com/ubuntu/tips/2010122417715.html）

       可以先将hadoop-2.4.0.tar.gz右键“ExtractHere“就地解压,为了方便记忆，解压后的文件夹重命名为hadoop，然后移动到usr/local/下。

若用命令，如下：

(1) cd到hadoop-2.4.0.tar.gz所在文件夹，就地解压：   

sudo tar -zxvf hadoop-2.4.0.tar.gz

(或sudo tar xzf hadoop-2.4.0.tar.gz)

(2) 重命名为hadoop-2.4.0为hadoop:

mv hadoop-2.4.0 hadoop

(3)将解压后的文件夹hadoop移到指定的hadoop的权限工作区:  

mv hadoop /usr/local

      (4) 赋予用户对该文件夹的读写权限

         sudo chmod 774 /usr/local/hadoop

    

  

3、配置

      

        1）配置~/.bashrc

配置该文件前需要知道Java的安装路径，用来设置JAVA_HOME环境变量，可以使用下面命令行查看安装路径

        update-alternatives --config java

        执行结果如下：

        

   

完整的路径为      /usr/lib/jvm/jdk1.8.0_05/bin/java

    我们只取前面的部分   /usr/lib/jvm/jdk1.8.0_05

    配置.bashrc文件

    sudo gedit ~/.bashrc

    

    该命令会打开该文件的编辑窗口，在文件末尾追加下面内容，然后保存，关闭编辑窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

  

最终结果如下图：

  

执行下面命，使添加的环境变量生效：

        source ~/.bashrc

2）编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh

        执行下面命令，打开该文件的编辑窗口

        sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh 

        找到JAVA_HOME变量，修改此变量如下

        export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_05    

        修改后的hadoop-env.sh文件如下所示：

  

六、WordCount测试

 

单机模式安装完成，下面通过执行hadoop自带实例WordCount验证是否安装成功：

     在/usr/local/hadoop路径下创建input文件夹：    

mkdir input

  (或 sudo mkdir /usr/local/hadoop/input)

    拷贝README.txt到input：    

cp README.txt input

    执行WordCount：

     bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

     

执行结果：

  

执行 cat output/*，查看字符统计结果

 

  

至此，单机模式安装成功！