hadoop+zookeeper+hbase安装、配置及应用实例

（注：本内容已迁移到最新博客，地址：http://www.jmatrix.org/bigdata/80.html)

出于种种原因，想要搭建一个小集群，来搞搞数据处理。

实践环境：

ubuntu10.04+jdk1.6.20+hadoop-0.20.2+zookeeper3.3.4+hbase0.90.6

本来是准备好了三台机器，结果后面一台挂了，所以只有两台了=。=

机器名              ip                           作用

ibm        125.216.227.182     namenode

ibm00    125.216.227.53        datanode

在开始之前，先负责任的说，选择的hadoop，hbase版本是有很大影响的，一方面是不同版本配置不一样，个别的配置文件没有等，另一方面并不是所有多兼容，所以还是要看看官方文档。

一. Hadoop的安装配置

1、安装ubuntu10.04

    为了操作的简便，在所有机器上创建相同用户名和相同密码的用户。本例创建了相同的用户ibm。

修改机器名：$ hostname 机器名。(注：重启ubuntu后，hostname会变为原来的默认值，所以重启电脑后记得把hostname改回来，免得与下面设置的/etc/hosts文件不一致！)

 

在/etc/hosts 中添加机器名和相应的IP：

127.0.0.1 localhost

125.216.227.182 ibm

125.216.227.53 ibm00

2、开启ssh 服务

注意：自动安装openssh-server 时，先要进行sudo apt-get update 操作。

安装openssh-server：$ sudo apt-get install openssh-server

3、建立ssh 无密码登录

(1)在NameNode 上实现无密码登录本机：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa ，

直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。

再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件)：

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。

完成后可以实现无密码登录本机：$ ssh localhost。

(2)实现NameNode 无密码登录其他DataNode（不用设置DataNode无密码登录NameNode！）：

把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以125.216.227.182节点为例)：

a. 拷贝NameNode 的id_dsa.pub 文件：