【6-3】搭建一个hbase集群

目的:要在hbase集群上来运行hbase shell

hbase要依赖HDFS(现在搭的暂时不依赖YARN)

【单节点的hbase是玩具,根本没法应用于生产环境】

先停掉单节点hbase:./stop-hbase.sh

再将HDFS启动起来,我们的HDFS也是个集群,有两个namenode,因此我们要先启动zookeeper:cd /itcast/zookeeper 然后./zkServer.sh start 然后在05上面也把zookeeper启动起来 再把06的ZK启动起来  第一台机器启动起来了要等别人,第二台是follower【不确定】

现在,我要在第一台机器上启动,因为我在第一台机器上设置了到其他机器上的 ssh免登陆,比较方便

我cd到/itcast/hadoop2.2.0/sbin下面,然后./start-dfs.sh

启动顺序:先启动namenode,再启动所有datanode,再启动journal,再启动ZKFC

在网络上看一眼,三个活着的datanode,等等blabla【这地方因为我没有配置集群,没那么多台机器,所以暂时没有发现毛病】


hbase的集群安装比单节点安装复杂。

我先在一台机器上修改配置文件,再拷贝到其他节点

cd到/itcast/hbase/conf 修改hbase-site.xml :vim hbase-site.xml

以前我是写了一个本地文件系统的存储路径


以后要将数据存储到HDFS上,因此我应该写一个HDFS路径,【我不能写具体的某个itcast01:9000或者02:9000】,应该写它的抽象。写nameservice hdfs://ns1/hbase这是它的根目录


还要配置分布式的属性,hbase中也有老大,小弟,老大和小弟协调用的是也是zookeeper,因此也要配置zookeeper地址。【一会儿通过复制粘贴配】

还要配hbase-env.sh【集群模式要配了】 vim hbase-env.sh

有一个 export HBASE_MANAGERS_ZK=TRUE,现在集群模式我要用外面的ZK,把这个改成false,不要使用自己的ZK了。保存退出

拷贝这个文件,然后用notepad找到hbase的安装目录/itcast/hbase/conf/hbase-site.xml 修改

我现在要告诉它:hbase集群distributed改为true,然后再复制下zookeeper地址就可以了。

3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了)
注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

3.1修改hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_55
//告诉hbase使用外部的zk 
export HBASE_MANAGES_ZK=false

vim hbase-site.xml
<configuration>
<!-- 指定hbase在HDFS上存储的路径 -->
        <property>
                <name>hbase.rootdir</name>
                <value>hdfs://ns1/hbase</value>
        </property>
<!-- 指定hbase是分布式的,是一个集群模式 -->
        <property>
                <name>hbase.cluster.distributed</name>
                <value>true</value>
        </property>
<!-- 指定zk的地址【zk的地址在前面配置好了】,多个用“,”分割 -->
        <property>
                <name>hbase.zookeeper.quorum</name>
                <value>itcast04:2181,itcast05:2181,itcast06:2181</value>
        </property>
</configuration>

保存关掉hbase-site.xml


继续,还要配

我要指定hbase的小弟在哪个地方启动,在conf里:vim regionservers 这个就是hbase的小弟(hbase的老大是hmaster),它保存了一个区域的数据,这个配置文件和hadoop的slaves配置文件相似,因为都是小弟。

默认的文件是local host,我们要改。(假设hbase有4个节点,在03040506启动节点)


保存并退出。

现在hbase已经完全配置好了。现在将这台配置好的hbase拷贝到其它节点就可以了。拷贝方式:scp -r/itcast/hbase-0.9-hadooop2 / itcast02【换成03,04,05,06】:/itcast/

1上有0203040506免登陆,因此我在01上启动hbase:./start-hbase.sh 此时jps之后,hmaster启动起来了,但是regionserver没有启动起来。

原因:ns1下边有几个namenode,每个namenode都在哪台机器上,hbase不知道。

【有一个小问题】,

方法:我将那两个文件(core-site.xml,hdfs-site.xml)拷贝到hbase的conf目录里即可。

先停止./stop-hbase.sh

我要将决定映射关系的这两个配置文件拷贝到hbase的conf目录(所有的节点都要拷):scp /itcast/hadoop-2.2.0/etc/hadoop/ core-site.xml hdfs-site.xml itcast01【0203040506】:/itcast/hbase-/conf

下一次hbase启动之后,会读core-site.xml这两个配置文件。

./start-hbase.sh

再jps之后,就多了一个hregionserver (小弟)

通过管理界面来看:192.168.1.201:60010

在这种我们可以看到,backup master数目为0,意味着没有备用的hmaster


有一个老大不安全,我们应该再启动一个hmaster:  cd/bin目录下  ./hbase-daemon.sh start master 

再jps之后,里面有hmaster了。

但是两个hmaster得一个活跃的,一个是stand by的。得需要zookeeper协调,再进入那个网站,可以看到backup master

Q:这两个hmaster能不能进行自动切换?

A:我试一试 先JPS 看一眼标签, kill -9 6182

现在再访问:192.168.1.202 (不是201)了 可以打开

打开“zookeeper dump”,可以看到02状态是active

现在把01的再打开 ./hbase-deamon.sh start master

此时02为active,01为backup


本地文件存放了数据 /root/hbase 

集群模式,我的文件存放在hdfs上面,./hbase shell

进入shell模式,list显示表 现在没有表

create ‘user',指定两个列族'info','data'

再list一下,就能看到user了,详细地看 describe 'user'

发现,没有指定versions,就默认为1


怎么插入数据? put 'user','rk0001',【这是一个row key】,'info:name','zhangsan'

插入结束之后,scan 'user'

里面有数据。再刷新一下hbase管理界面

Tables里面有一个user table 看到一个user

附:hbase shell 的一些命令:

进入hbase命令行
./hbase shell


显示hbase中的表
list


创建user表,包含info、data两个列族
create 'user', 'info1', 'data1'
create 'user', {NAME => 'info', VERSIONS => '3'}


向user表中插入信息,row key为rk0001,列族info中添加name列标示符,值为zhangsan
put 'user', 'rk0001', 'info:name', 'zhangsan'


向user表中插入信息,row key为rk0001,列族info中添加gender列标示符,值为female
put 'user', 'rk0001', 'info:gender', 'female'


向user表中插入信息,row key为rk0001,列族info中添加age列标示符,值为20
put 'user', 'rk0001', 'info:age', 20


向user表中插入信息,row key为rk0001,列族data中添加pic列标示符,值为picture
put 'user', 'rk0001', 'data:pic', 'picture'


获取user表中row key为rk0001的所有信息
get 'user', 'rk0001'


获取user表中row key为rk0001,info列族的所有信息
get 'user', 'rk0001', 'info'


获取user表中row key为rk0001,info列族的name、age列标示符的信息
get 'user', 'rk0001', 'info:name', 'info:age'


获取user表中row key为rk0001,info、data列族的信息
get 'user', 'rk0001', 'info', 'data'
get 'user', 'rk0001', {COLUMN => ['info', 'data']}


get 'user', 'rk0001', {COLUMN => ['info:name', 'data:pic']}


获取user表中row key为rk0001,列族为info,版本号最新5个的信息
get 'people', 'rk0002', {COLUMN => 'info', VERSIONS => 2}
get 'user', 'rk0001', {COLUMN => 'info:name', VERSIONS => 5}
get 'user', 'rk0001', {COLUMN => 'info:name', VERSIONS => 5, TIMERANGE => [1392368783980, 1392380169184]}


获取user表中row key为rk0001,cell的值为zhangsan的信息
get 'people', 'rk0001', {FILTER => "ValueFilter(=, 'binary:图片')"}


获取user表中row key为rk0001,列标示符中含有a的信息
get 'people', 'rk0001', {FILTER => "(QualifierFilter(=,'substring:a'))"}


put 'user', 'rk0002', 'info:name', 'fanbingbing'
put 'user', 'rk0002', 'info:gender', 'female'
put 'user', 'rk0002', 'info:nationality', '中国'
get 'user', 'rk0002', {FILTER => "ValueFilter(=, 'binary:中国')"}




查询user表中的所有信息
scan 'user'


查询user表中列族为info的信息
scan 'people', {COLUMNS => 'info'}
scan 'user', {COLUMNS => 'info', RAW => true, VERSIONS => 5}
scan 'persion', {COLUMNS => 'info', RAW => true, VERSIONS => 3}
查询user表中列族为info和data的信息
scan 'user', {COLUMNS => ['info', 'data']}
scan 'user', {COLUMNS => ['info:name', 'data:pic']}




查询user表中列族为info、列标示符为name的信息
scan 'user', {COLUMNS => 'info:name'}


查询user表中列族为info、列标示符为name的信息,并且版本最新的5个
scan 'user', {COLUMNS => 'info:name', VERSIONS => 5}


查询user表中列族为info和data且列标示符中含有a字符的信息
scan 'people', {COLUMNS => ['info', 'data'], FILTER => "(QualifierFilter(=,'substring:a'))"}


查询user表中列族为info,rk范围是[rk0001, rk0003)的数据
scan 'people', {COLUMNS => 'info', STARTROW => 'rk0001', ENDROW => 'rk0003'}


查询user表中row key以rk字符开头的
scan 'user',{FILTER=>"PrefixFilter('rk')"}


查询user表中指定范围的数据
scan 'user', {TIMERANGE => [1392368783980, 1392380169184]}


删除数据
删除user表row key为rk0001,列标示符为info:name的数据
delete 'people', 'rk0001', 'info:name'
删除user表row key为rk0001,列标示符为info:name,timestamp为1392383705316的数据
delete 'user', 'rk0001', 'info:name', 1392383705316




清空user表中的数据
truncate 'people'




修改表结构
首先停用user表(新版本不用)
disable 'user'


添加两个列族f1和f2
alter 'people', NAME => 'f1'
alter 'user', NAME => 'f2'
启用表
enable 'user'




###disable 'user'(新版本不用)
删除一个列族:
alter 'user', NAME => 'f1', METHOD => 'delete' 或 alter 'user', 'delete' => 'f1'


添加列族f1同时删除列族f2
alter 'user', {NAME => 'f1'}, {NAME => 'f2', METHOD => 'delete'}


将user表的f1列族版本号改为5
alter 'people', NAME => 'info', VERSIONS => 5
启用表
enable 'user'




删除表
disable 'user'
drop 'user'




get 'person', 'rk0001', {FILTER => "ValueFilter(=, 'binary:中国')"}
get 'person', 'rk0001', {FILTER => "(QualifierFilter(=,'substring:a'))"}
scan 'person', {COLUMNS => 'info:name'}
scan 'person', {COLUMNS => ['info', 'data'], FILTER => "(QualifierFilter(=,'substring:a'))"}
scan 'person', {COLUMNS => 'info', STARTROW => 'rk0001', ENDROW => 'rk0003'}


scan 'person', {COLUMNS => 'info', STARTROW => '20140201', ENDROW => '20140301'}
scan 'person', {COLUMNS => 'info:name', TIMERANGE => [1395978233636, 1395987769587]}
delete 'person', 'rk0001', 'info:name'


alter 'person', NAME => 'ffff'
alter 'person', NAME => 'info', VERSIONS => 10




get 'user', 'rk0002', {COLUMN => ['info:name', 'data:pic']}




scan 'people', {COLUMNS => 'info',RAW => true, VERSIONS => 3}





  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值