1.hbase特性
-
Hbase的表模型与关系型数据库的表模型不同
-
Hbase的表没有固定的字段定义;
-
Hbase的表中每行存储的都是一些key-value对
-
Hbase的表中有列族的划分,用户可以指定将哪些kv插入哪个列族
-
Hbase的表在物理存储上,是按照列族来分割的,不同列族的数据一定存储在不同的文件中
-
Hbase的表中的每一行都固定有一个行键,而且每一行的行键在表中不能重复
-
Hbase中的数据,包含行键,包含key,包含value,都是byte[ ]类型,hbase不负责为用户维护数据类型
-
HBASE对事务的支持很差
-
Hbase的表数据存储在HDFS文件系统中
1.1 hbase逻辑表结构
rowkey | 列族1 | 列族2 |
---|---|---|
key1 | k1=v1 ,k2=v2 | k3=v3 |
key1 | k1=v1 ,k2=v2 | k3=v3 |
key1 | k1=v1 ,9k2=v2 | k3=v3 |
1、一个表,有表名
2、一个表可以分为多个列族(不同列族的数据会存储在不同文件中)
3、表中的每一行有一个“行键rowkey”,而且行键在表中不能重复
4、表中的每一对kv数据称作一个cell
5、hbase可以对数据存储多个历史版本(历史版本数量可配置)
6、整张表由于数据量过大,会被横向切分成若干个region(用rowkey范围标识),不同region的数据也存储在不同文件中
7、hbase会对插入的数据按顺序存储(按字典顺序):
要点一:首先会按行键排序
要点二:同一行里面的kv会按列族排序,再按k排序
8、hbase中的rowkey、列族、kv都以字节数组的形式存储
2 安装hbase
2.1 hbase角色
HBASE是一个分布式系统
其中有一个管理角色: HMaster(一般2台,一台active,一台backup)
其他的数据节点角色: HRegionServer(很多台,看数据容量),regionserver应该跟hdfs中的datanode在一起,减少网络传输
###2.2 安装前配置
export JAVA_HOME=/root/apps/jdk1.7.0_67 #配置java_home
export HBASE_MANAGES_ZK=false #关闭hbase使用自带zookeeper
- 修改hbase-site.xml
<configuration>
<!-- 指定hbase在HDFS上存储的路径 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://hdp01:9000/hbase</value>
</property>
<!-- 指定hbase是分布式的 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- 指定zk的地址,多个用“,”分割 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>hdp01:2181,hdp02:2181,hdp03:2181</value>
</property>
</configuration>
- 修改regionservers,用于同时启动hbase集群(需要配置ssh免密登陆)
hdp01
hdp02
hdp03
2.3 启动hbase
bin/start-hbase.sh
#启动hbase集群
bin/hbase-daemon.sh start master
#启动一个处于backup状态的master
2.4 启动hbase的命令行客户端
bin/hbase shell
3. hbase命令行客户端操作
3.1 建表
create'表名','列族名1','列族名2'
3.2 插入数据(如果已经存在该记录,则会覆盖之前的数据)
put '表名','行键','列族名:key','value'
3.3 查询数据
scan 't_user_info'
#查询所有的数据
get 't_user_info','001'
#查询单行数据
3.4 删除数据
delete 't_user_info','001','base_info:sex'
#删除一个kv数据
deleteall 't_user_info','001'
#删除一行
3.5 删除整个表
disable 't_user_info'
#先禁用
drop 't_user_info'
#删除表