Hadoop的安装和部署

1.       环境概述

系统：RedHat linux enterprise5

Jdk：jdk1.6

Hadoop：Hadoop-0.19.2

节点数目：两台（可自行扩充）

2.       匿名登录设置

l  设置机器的hosts

转换问root用户，修改/etc/hosts文件，内容如下：

# Do not remove the following line, or various programs

# that require network functionality will fail.

127.0.0.1       localhost.localdomain   localhost

::1     localhost6.localdomain6 localhost6

192.168.0.121   hwellzen-bj-1.compute   hwellzen-bj-1

192.168.0.122   hwellzen-bj-2.compute   hwellzen-bj-2

 

注意：以上的内容有回车符的时候才进行换行。将两台机器的hosts都设置问以上的内容，然后分别重启系统。

l  设置匿名登录

Ø  转换用户到你需要设置匿名登录的用户下，本安装用户为liuzj，执行

[liuzj@hwellzen-bj-1 ~]$ssh-keygen  -t  rsa

这个命令将为hwellzen-bj-1上的用户liuzj生成其密钥对，询问其保存路径时直接回车采用默认路径，当提示要为生成的密钥输入passphrase的时候，直接回车，也就是将其设定为空密码。生成的密钥对id_rsa，id_rsa.pub，默认存储在/home/liuzj/.ssh目录下。

执行命令：

cp id_rsa.pub authorized_keys

可以实现用户在本地匿名登录，现象为

[liuzj@hwellzen-bj-1 ~]$ssh hwellzen-bj-1

Last login: Tue Aug 11 09:31:49 2009 from 192.168.0.129

[liuzj@hwellzen-bj-1 ~]$

 

 

 

Ø  登录到另一台机器上执行相同的命令

[liuzj@hwellzen-bj-1 ~]$ssh-keygen  -t  rsa

Ø  现在两台机器的密钥都有了，现在激动人心 的时刻到了。设置hwellzen-bj-1到hwellzen-bj-2的匿名登录：

n  将hwellzen-bj-1的密钥id_rsa.pub拷贝到hwellzen-bj-2上，使用命令：

[liuzj@hwellzen-bj-1 ~]$ scp .ssh/id_rsa.pub hwellzen-bj-2:/home/liuzj

n  登录到hwellzen-bj-2，将hwellzen-bj-1的密钥加入到匿名的文件中

[liuzj@hwellzen-bj-2 ~]$ cat id_rsa.pub >> .ssh/authorized_keys

n  试试吧，登录到hwellzen-bj-1执行命令[liuzj@hwellzen-bj-1 ~]$ ssh hwellzen-bj-2

我这里的现象：

[liuzj@hwellzen-bj-1 ~]$ ssh hwellzen-bj-2

Last login: Tue Aug 11 09:31:49 2009 from 192.168.0.129

[liuzj@hwellzen-bj-2 ~]$

n  好了，最后用以上的方法自己设置，hwellzen-bj-2匿名登录到hwellzen-bj-1。

n  注意：生成设置匿名登录之前要把hosts设置好，然后重启。

3.       Jdk安装

Ø  将jdk-6u2-linux-i586.bin拷贝到hwellzen-bj-1。

Ø  转换为root用户，设置jdk-6u2-linux-i586.bin为可执行的文件，

Chmod u+x jdk-6u2-linux-i586.bin

Ø        创建目录/usr/local/java，并cd到该目录，将jdk-6u2-linux-i586.bin拷贝到该目录（装完删了），执行命令：

./ jdk-6u2-linux-i586.bin

文件安装完成

Ø  设置配置所有用户都可以用，编辑vi /etc/profile，在文件的最后添加以下内容

PATH=/usr/local/java/jdk1.6.0_02/bin:$PATH

JAVA_HOME=/usr/local/java/jdk1.6.0_02

export PATH JAVA_HOME

Ø  将设置生效执行命令：

source  /etc/profile

Ø  安装完啦，看看现在的java版本呗：

执行命令：java –version

[liuzj@hwellzen-bj-2 ~]$ java -version

java version "1.6.0_02"

Java(TM) SE Runtime Environment (build 1.6.0_02-b05)

Java HotSpot(TM) Client VM (build 1.6.0_02-b05, mixed mode, sharing)

[liuzj@hwellzen-bj-2 ~]$

                     

4.       Hadoop安装

Ø  解压hadoop文件

将hadoop-0.19.2.tar.gz解压到，用户liuzj下使用的命令为

[liuzj@hwellzen-bj-2 ~]$ tar zxvf hadoop-0.19.2.tar.gz

最终解压后的目录为：

[liuzj@hwellzen-bj-2 hadoop-0.19.2]$ pwd

/home/liuzj/hadoop-0.19.2

注意:保证各台机器安装的目录机构都是相同的。

Ø  配置文件设置

需要配置的文件：hadoop-env.sh，slaves，masters，hadoop-site.xml

n  hadoop-env.sh配置javahome，内容为

# The java implementation to use.  Required.

 export JAVA_HOME=/usr/local/java/jdk1.6.0_02

n  slaves配置子节点，内容为

hwellzen-bj-2

hwellzen-bj-1

n  masters配置主节点，内容为

hwellzen-bj-1

n  hadoop-site.xml配置的内容比较多，内容为

<configuration>

<property>

   <name>fs.default.name</name>

   <value>hdfs://hwellzen-bj-1:4310/</value>

</property>

<property>

   <name>mapred.job.tracker</name>//

   <value>hdfs://hwellzen-bj-1:4311/</value>

</property>

<property>

   <name>dfs.replication</name>

   <value>2</value>

</property>

<property>

    <name>hadoop.tmp.dir</name>

    <value>/home/liuzj/hadoop-0.19.2/tmp</value>

</property>

<property>

  <name>dfs.name.dir</name>

  <value>/home/liuzj/hadoop-0.19.2/filesystem/name/</value>

</property>

<property>
  <name>dfs.data.dir</name>
  <value>/opt/hadoop-0.19.2/filesystem/data</value>
  <description>Determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named directories, typically on different devices. Directories that do not exist are ignored.</description>
</property>

<property>

   <name>mapred.child.java.opts</name>

   <value>-Xmx512m</value>

</property>

</configuration>

格式化dfs：

                     [liuzj@hwellzen-bj-1 hadoop-0.19.2]$ bin/hadoop namenode -format

 

 

启动hadoop

[liuzj@hwellzen-bj-1 hadoop-0.19.2]$ bin/start-all.sh

访问

 

http://192.168.0.121:50070/dfshealth.jsp

http://192.168.0.121:50030/jobtracker.jsp

 

注意：保证hadoop的需要用的端口都是可以访问的，本人在配置的时候因为防火墙组织了端口的访问造成hadoop的启动失败，后来关闭的防火墙，启动成功。