文档说明
本文是在hadoop2.0(hdfs2.2.0)上部署hbase0.96版本时遇到的一些问题及其相应的解决办法。文中所述操作均在ubuntu10.04系统上进行。囿于作者水平有限,文章难免有错误简陋之处,欢迎读者朋友批评指正!
1. 集群介绍
本文是在hadoop2.0上搭建hbase时遇到的一些问题,及其相应的解决办法。
hbase版本:0.96.0;hdfs版本:2.2.0。
1.1. 硬件环境
本集群共有12台机器,机器配置如下
机器名 | ip | 内存 | 硬盘 | 操作系统 |
M244 | 10.10.0.14 | 64GB | 3TB | HP ubuntu 10.04 |
M245 | 10.10.0.15 | 64GB | 3TB | HP ubuntu 10.04 |
M246 | 10.10.0.16 | 64GB | 3TB | HP ubuntu 10.04 |
M247 | 10.10.0.17 | 64GB | 3TB | HP ubuntu 10.04 |
M248 | 10.10.0.18 | 64GB | 3TB | HP ubuntu 10.04 |
M249 | 10.10.0.19 | 64GB | 3TB | HP ubuntu 10.04 |
M250 | 10.10.0.20 | 64GB | 3TB | HP ubuntu 10.04 |
M251 | 10.10.0.21 | 64GB | 3TB | HP ubuntu 10.04 |
M252 | 10.10.0.22 | 64GB | 3TB | HP ubuntu 10.04 |
M253 | 10.10.0.23 | 64GB | 3TB | HP ubuntu 10.04 |
M254 | 10.10.0.24 | 64GB | 3TB | HP ubuntu 10.04 |
M255 | 10.10.0.25 | 64GB | 3TB | HP ubuntu 10.04 |
1.2. 集群架构
在12台机器上部署角色:两个master,一主一备;12个regionserver。
选定M244、M245两台机器作为两个master节点,M244为主M245为备。然后在每台机器上启动一个regionserver。2. Hbase部署
问题1) 与Hadoop2.2.0有关的jar包(hdfs、mapreduce、yarn)
问题描述
因为hbase是以hadoop中的hdfs作为后端存储,且有一定的mapreduce任务要建立在hbase之上,因此在启动hbase之前,需要先将hadoop中的一些jar包拷贝到hbase的lib目录中。这些jar包包括三类:公共包、hdfs相关包、mapreduce相关包。因为hadoop2.0中将hadoop1.0里Mapreduce的资源管理功能分拆到yarn,yarn作为hadoop内核的一个独立组件。
公共包:
hadoop-annotations-2.2.0.jarhadoop-auth-2.2.0.jar
hadoop-common-2.2.0.jar
Hdfs相关包:
hadoop-hdfs-2.2.0.jarMapreduce相关包:
mapreduce部分
hadoop-ma