hbase安装

最新推荐文章于 2024-11-03 16:56:30 发布

obite

最新推荐文章于 2024-11-03 16:56:30 发布

阅读量78

点赞数

分类专栏： hbase 文章标签：大数据 shell java

hbase 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

准备：

1、JDK安装调试完毕

2、hadoop安装调试完毕。

3、下载hbase，地址：http://www.apache.org/dyn/closer.cgi/hbase/ ；本次安装使用版本hbase-0.94.0-security(未确认是否要打补丁)

4、 ulimit 和 nproc: Base是数据库，会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的，会导致FAQ: Why do I see "java.io.IOException...(Too manyopen files)" in my logs?异常。

所以你需要修改你的最大文件句柄限制。可以设置到10k. 你还需要修改 hbase 用户的 nproc，如果过低会造成 OutOfMemoryError异常。

设置ulimit:
如果你使用的是Ubuntu,你可以这样设置:
在文件 /etc/security/limits.conf 添加一行，如:
hadoop - nofile 32768
可以把 hadoop 替换成你运行Hbase和Hadoop的用户。如果你用两个用户，你就需要配两个。还有配nproc hard 和 softlimits. 如:

hadoop soft/hard nproc 32000

在 /etc/pam.d/common-session 加上这一行:

session required pam_limits.so

否则在 /etc/security/limits.conf上的配置不会生效.
还有注销再登录，这些配置才能生效!

5、修改Hadoop HDFS Datanode同时处理文件的上限：dfs.datanode.max.xcievers
一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers (Hadoop的作者把这个单词拼错了). 在你加载之前，先确认下你有没有配置这个文件conf/hdfs-site.xml里面的xceivers参数，至少要有4096:

<property>
       <name>dfs.datanode.max.xcievers</name>
        <value>4096</value>
</property>

对于HDFS修改配置要记得重启.

如果没有这一项配置，你可能会遇到奇怪的失败。你会在Datanode的日志中看到xcievers exceeded，但是运行起来会报 missing blocks错误。例如: 02/12/1220:10:31 INFO hdfs.DFSClient: Could not obtain blockblk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No livenodes contain current block. Will get new block locations from namenode andretry...

安装：

1、解压 hbase-0.94.0-security.tar.gz文件；

2、将hbase-0.94.0-security拷贝到linux安装目录下；

3、拷贝hbase-0.94.0-security/src/main/resources/hbase-default.xml中的内容到hbase-0.94.0-security/conf/hbase-site.xml中。

4、修改 hbase-site.xml：

设置hbase.rootdir的值为： hdfs://namenode:90000/hbase;

设置hbase.master的值为：namenode:60010

设置hbase.master.port 的值为：60000

设置hbase.zookeeper.quorum的值为 ( zookeeper 集群数量配置必须为奇数) ：datanode1,datanode2,datanode3

5、修改：hbase-env.sh：

设置环境变量：JAVA_HOME=/home/yousuo/jdk1.7.0_03

6、在Master节点修改regionservers，列出所有slave机器，一行一个机器名：

datanode1
datanode2
datanode3

7、打包部署文件到集群所有机器上，路径保持一致。(可以使用rsync同步)

运行hbase

1、修改/etc/profile文件，在文件末尾加上环境变量：

export HBASE_HOME=/home/yousuo/hbase
export PATH=$PATH:$HBASE_HOME/bin

在各客户端执行source /etc/profile

2、在hbase/bin 目录下执行 chmod +x * 添加执行权限，然后执行 start-hbase.sh 启动hbase服务。

3、执行命令hbase shell登录成功显示如下：

HBase Shell; enter 'help<RETURN>' for list of supported commands.
Type "exit<RETURN>" to leave the HBase Shell
Version 0.94.0, r1332822, Tue May  1 21:03:16 UTC 2012

4、在控制台输入list成功则显示如下：

TABLE                                                                           
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/yousuo/hbase/lib/slf4j-log4j12-1.5.8.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/yousuo/hadoop/lib/slf4j-log4j12-1.4.3.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
0 row(s) in 1.0830 seconds

hbase(main):002:0>

本文参考了以下文档：http://www.yankay.com/wp-content/hbase/book.html