在Windows中使用Cygwin安装HBase

在Windows中使用Cygwin安装HBase

飞鸿雪泥

1.简介

HBase是 Hadoop 的正式子项目，它是一个面向列的分布式数据库，它在存储数据结构上并非关系型，而是疏松分布式的，持久并按多维排序并索引的map型，其思想源于Google的BigTable论文。（Google BigTable的paper: http://labs.google.com/papers/bigtable-osdi06.pdf）

由于HBase是一个分布式、大规模的平台，主要安装在类Unix平台上。但是由于其开发语言是Java，因此它同样具有跨平台的特性，同样也可以安装在Windows操作系统上。为了方便起见，使用具有类Unix特性的Cygwin来安装HBase。

2.目的

本文主要阐述在伪分布式模式（Pseudo-distributed mode）下，在Windows操作系统上使用Cygwin来安装、运行和测试HBase项目。对于真正的分布式的集群配置，可以参考本文以及HBase项目官网（http://hadoop.apache.org/hbase/）中的讲解。

3.安装与配置

软件版本：

l        JDK 1.6(或以上版本)

l        Cygwin 2.5

l        Hadoop 0.20.x

l        HBase 0.20.x

3.1 Java、Cygwin、SSH

这里的三个软件的安装过程，可以参考《Hadoop开发者》杂志创刊号中《在Windows 上安装Hadoop 教程》，在此不再赘述。

3.2 Hadoop

同样，Hadoop的安装也可以参考《Hadoop开发者》杂志创刊号中《在Windows 上安装Hadoop 教程》一文。但是根据笔者的安装过程，列出以下几点注意：

1．在配置hadoop-env.sh中的JAVA_HOME时，Jdk往往安装在C:/Program Files/文件夹下，例如：C:/Program Files/Java/jdk1.6.0_01。JAVA_HOME应配置如下：

export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.6.0_01

其中，由于Cygwin无法识别“Program Files”中间的空格，如果不按照上述设置，则系统无法找到Jdk安装目录。

当然，你也可以在Cygwin的/usr/local目录下添加一个连接，从而方便配置JAVA_HOME。例如：

          ln -s /cygdrive/c/Program/ Files/Java/jdk1.6.0_01 /

          /usr/local/jdk1.6.0_01

          export JAVA_HOME=/usr/local/jdk1.6.0_01

2．在core-site.xml配置文件中，属性“fs.default.name”的值与《Hadoop开发者》杂志创刊号中《在Windows 上安装Hadoop 教程》一文中的值保持一致，设置为：“hdfs://localhost:8888”。同样，配置文件mapred-site.xml中的“mapred.job.tracker”属性值设置为：“localhost:9999”。

3．在Hadoop分布式文件系统中创建两个目录hbase和tmp，这两个目录将在下面安装HBase的过程中使用，在Shell中输入命令如下：

              bin/hadoop dfs –mkdir hbase tmp

       Hadoop的分布式文件系统中将增加hbase和tmp两个目录，如下图所示：

3.3 HBase

假设HBASE_HOME为HBase的安装目录。

1．在$HBASE_HOME/conf/hbase-env.sh中增加如下两个环境变量：

export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.6.0_01

export HBASE_IDENT_STRING=localhost

其中，JAVA_HOME的设置参照上文的说明。

2．将$HBASE_HOME/conf/hbase-default.xml中的所有内容，拷贝到$HBASE_HOME/conf/hbase-site.xml文件中。

3．修改hbase-site.xml配置文件中的“hbase.rootdir”属性，以及“hbase.tmp.dir”属性，如下所示：

<property>

           <name>hbase.rootdir</name>

           <value>hdfs://localhost:8888/hbase</value>

           <description>The directory shared by region servers.

           Should be fully-qualified to include the filesystem to use.

           E.g: hdfs://NAMENODE_SERVER:PORT/HBASE_ROOTDIR

           </description>

</property>

……

<property>

       <name>hbase.tmp.dir</name>

       <value>hdfs://localhost:8888/tmp</value>

<description>Temporary directory on the local filesystem.</description>

</property>

…….

注意，这里设置的两个目录正是上文中在Hadoop的分布式文件系统中建立的两个目录，此外，端口号也与前面保持一致，设置为：“8888”。

4．  修改hbase-site.xml配置文件中的“hbase.zookeeper.quorum”属性的值为“127.0.0.1”，在Cygwin中，“localhost”有时无法正确识别。如下所示：

<property>

      <name>hbase.zookeeper.quorum</name>

    <value>127.0.0.1</value>

    <description>Comma separated list of servers in the ZooKeeper Quorum.

 For example, "host1.mydomain.com,

host2.mydomain.com,  host3.mydomain.com".

    By default this is set to localhost for local and pseudo-distributed modes

of operation. For a fully-distributed setup, this should be set to a full

list of ZooKeeper quorum servers. If HBASE_MANAGES_ZK

is set in hbase-env.sh

    this is the list of servers which we will start/stop ZooKeeper on.

    </description>

</property>

4.测试

下面测试系统是否正确安装。

1．打开Cygwin的终端，执行“ssh localhost”命令。

2．在Hadoop安装目录下，执行“bin/start-all.sh”脚本，启动Hadoop。

3．在Hbase安装目录下，执行“bin/start-hbase.sh”脚本，启动HBase。

4．在Hbase安装目录下，执行“bin/hbase shell”命令，进入Shell命令模式。

5．在Shell中输入“create 'test', 'data'”，执行结果通过输入“list”命令进行查看。如下图所示：

6．  在Shell中分别输入“put 'test', 'row1', 'data:1', 'value1'”，“put 'test', 'row2', 'data:2', 'value2'”，“put 'test', 'row3', 'data:3', 'value3'”三条命令，以创建三条记录。

7．  输入“scan 'test'”命令，通过执行结果来测试上述三条命令的执行情况。如下图所示。

 

5.总结

至此，HBase在Windows操作系统中利用Cygwin工具已经安装完成，并运行良好。用户可以在系统中存储大规模的数据，并进行海量数据处理。