Hadoop学习系列教程——单机版hadoop的配置安装

操作系统环境：ubuntu12.10 desktop 64位版、vitrualbox 4.2.6

在virtualbox中安装ubuntu，使用桥接网卡模式，使得虚拟机中的ubuntu也能够访问公网。因为我们需要通过unbuntu的apt命令来安装环境，并在ubuntu中下载hadoop。

 

Ubuntu安装完毕后，按一下win键，在搜索框中输入“terminal”，即可找到Ubuntu中的终端，这里可以将终端固定到左侧的启动栏中，方便今后快速启动。

 

 

在Ubuntu中安装JDK

JDK是Hadoop编译和MapReduce运行的基础

在终端中，键入以下命令：sudo apt-get install openjdk-6-jdk

因为考虑到所有软件的兼容性，我们使用1.6版本的jdk。Openjdk在安装完成后，会自动配置java环境变量。我们使用java –version命令来验证安装是否成功。如果终端中出现以下字样，即代表jdk安装成功：

OpenJDK Runtime Environment (IcedTea6 1.11.5)(6b24-1.11.5-0ubuntu1~12.10.1)

OpenJDK 64-Bit Server VM (build 20.0-b12,minxed mode)

 

在Ubuntu中安装SSH

Hadoop通过SSH（安全外壳协议）来启动集群中其他机器的进程，虽然我们这里安装的是单机版的Hadoop，但是也必须安装SSH。在终端中键入命令：sudo apt-get install ssh 即可完成安装。此外，还需要配置SSH免密码登录，以避免在运行hadoop时被重复提示输入密码。在终端中输入：

ssh-keygen –t rsa –P ‘’ –f ~/.ssh/id_rsa

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

第一句在.ssh目录中创建私钥id_rsa和公钥id_rsa.pub。

第二句将公钥添加到用于认证的公钥文件。

使用ssh –version命令，出现如下字样，代表ssh安装成功

OpenSSH_6.0p1 Debian-3ubuntu1,OpenSSL 1.0.1c 10 May 2012

Bad escape character ‘rsion’

使用ssh localhost命令测试连接本机，不提示输入密码并出现以下字样代表连接成功

         Welcome to Ubuntu 12.10 (GNU/Linux 3.5.0-17-generic x86_64)

* Documentation:  https://help.ubuntu.com/

239 packages can be updated.

51 updates are security updates.

Last login: Sat Jan 19 16:48:09 2013 from localhost

 

在Ubuntu中安装rsync

         rsync是一个数据镜像备份工具。在终端中输入命令sudo apt-get install rsync即可安装。

 

下载hadoop包

在ubuntu中，使用浏览器登录hadoop.apache.org，下载一个hadoop的稳定版安装包，这里我们选择的是hadoop-1.0.4.bin.tar.gz

 

         Firefox会默认将文件下载到“下载”文件夹下，我们将hadoop-1.0.4.bin.tar.gz包剪切到主文件夹下，在终端中运行tar-xvf hadoop-1.0.4-bin.tar.gz命令解压到主文件夹中。

 

         配置hadoop

         将jdk的安装位置配置到hadoop-env.sh中。使用文本编辑器打开~/hadoop-1.0.4/conf文件夹下的hadoop-env.sh文件，添加一行:

export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-amd64

在~/hadoop-1.0.4/conf/core-site.xml的configuration标签中添加以下内容，以配置hdfs的地址和端口号：

<property>

         <name>fs.default.name</name>

         <value>hdfs://localhost:9000</value>

</property>

在~/hadoop-1.0.4/conf/hdfs-site.xml的configuration标签中添加以下内容，以配置hdfs的备份数，单机版为1：

<property>

         <name>dfs.replication</name>

         <value>1</value>

</property>

在~/hadoop-1.0.4/conf/mapred-site.xml的configuration标签中添加以下内容，以配置的JobTracker地址和端口号：

<property>

         <name>mapred.job.tracker</name>

         <value>localhost:9001</value>

</property>

 

格式化HDFS并启动Hadoop

终端进入hadoop-1.0.4目录下，输入bin/hadoop namenode –format 以格式化hdfs

输入bin/start-all.sh以启动hadoop。

 

验证hadoop成功启动

浏览器查看mapreduce页面：http://localhost:50030

 

查看hdfs页面：http://localhost:50070

 

能够看到上图两个页面，即代表hadoop成功启动。

至此，单机版的hadoop安装完毕。

转载于:https://www.cnblogs.com/zoen/archive/2013/01/20/2868835.html