HBase
不务正业的土豆
知行合一 止于行善
展开
-
HBase(1)-HBase的分布式安装
1.前提 Hadoop分布式环境已安装,见 http://blog.csdn.net/yyl424525/article/details/55097022 Zookeeper分布式环境已安装,见 http://blog.csdn.net/yyl424525/article/details/774540842.安装和配置hbase 2.1 上传hbase-1.2.6-bin.tar.gz安装包原创 2017-08-21 18:48:42 · 349 阅读 · 0 评论 -
HBase(2.6)-HBase的RowKey设计原则 ,热点问题
1 概述 Hbase是一个分布式的、面向列的数据库,它和一般关系型数据库的最大区别是:hbase很适合于存储非结构化的数据,还有就是它基于列的而不是基于行的模式。 既然HBase是采用KeyValue的列存储,那Rowkey就是KeyValue的Key了,表示唯一一行。Rowkey也是一段二进制码流,最大长度为64KB,内容可以由使用的用户自定义。数据加载时,一般也是根据Rowkey的二进制序由原创 2017-08-23 14:51:32 · 1682 阅读 · 0 评论 -
HBase(2.5)-LSM树(基于日志结构的合并树)
1. LSM(Log-StructuredMerge-Tree)树 随着NoSQL系统尤其是类BigTable系统的流行,LSM的文件系统越来越让人熟知。LSM主要用于为那些长期具有很高记录更新(插入和删除)频率的文件提供低成本的索引机制。LSM树实现了所有的索引值对于所有的查询来说都可以通过内存组件或某个磁盘组件进行访问。LSM减少了磁盘磁壁的移动次数降低了进行数据插入时磁盘磁壁的开销。LSM在原创 2017-08-23 14:42:48 · 2873 阅读 · 0 评论 -
HBase(2.4)-HBase读写操作、root和meta表
1. HBase读写流程 上图是RegionServer数据存储关系图。上文提到,HBase使用MemStore和StoreFile存储对表的更新。数据在更新时首先写入HLog和MemStore。MemStore中的数据是排序的,当MemStore累计到一定阈值时,就会创建一个新的MemStore,并且将老的MemStore添加到Flush队列,由单独的线程Flush到磁盘上,成为一个StoreF原创 2017-08-23 14:39:20 · 8151 阅读 · 0 评论 -
HBase(2.3)-HBase存储格式、数据模型
1.HBase数据模型 1.1 逻辑视图 hbase模式里的逻辑实体包括: (1)表(table):HBase用表来组织数据。表名是字符串(String),由可以在文件系统路径里使用的字符组成。 (2)行(row):在表里,数据按行存储。行由行键(rowkey)唯一标识。行键没有数据类型,总是视为字节数组byte []。 (3)列族(column family):行里的数据按照列原创 2017-08-23 14:34:02 · 2795 阅读 · 0 评论 -
HBase(2.2)-HBase架构详解
1.HBase架构组成 HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由一下类型节点组成:HMaster节点、HRegionServer节点、ZooKeeper集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等。Hbase中主要有3个组件,客户端库(Shell,JavaAPI),一台主服务器(Master),多台R原创 2017-08-23 14:27:56 · 1421 阅读 · 1 评论 -
Hbase-启动后RegionServer由于时间不同步自动挂掉
查看挂掉的节点hdp-node-02日志 [root@hdp-node-02 logs]# cat hbase-root-regionserver-hdp-node-02.log 2017-08-23 17:00:59,154 FATAL [regionserver/hdp-node-02/192.168.33.102:16020] regionserver.HRegionServer: Mas原创 2017-08-23 11:17:01 · 1079 阅读 · 0 评论 -
HBase(2.1)-HBase介绍
1. HBase介绍 1.1 HBase简介 Hbase是一个非关系型的、持久的、分布式的、强一致性的存储结构、面向列的开源数据库,是一个适合于非结构化数据存储的数据库。 Hbase是Hadoop生态系统的一部分,Hbase数据最终是存储到HDFS文件系统当中; Hbase是基于列存储的数据库,具有负载均衡和故障恢复功能,同时可以自动扩展,具有高效的读写功能。(1)对于定义当中的几个名词的解原创 2017-08-23 11:54:37 · 1586 阅读 · 0 评论 -
Hbase-关闭命令stop-hbase.sh命令找不到
start-HBase.sh 可以启动hmaster及其所有的RegionServers,但是stop-hbase.sh无法同步关闭RegionServers: [root@hdp-node-01 bin]# stop-hbase.sh stopping hbasecat: /tmp/hbase-root-master.pid: No such file or directory原因:默认情况下原创 2017-08-23 11:17:50 · 12614 阅读 · 5 评论 -
HBase(3)-HBase Shell 中DDL,DML命令演示
DDL(Data Definition Language)数据定义语言:对数据库中的某些对象(例如,database,table)进行管理,如Create,Alter和Drop. DML(Data Manipulation Language)数据操纵语言:对数据库中的数据进行一些简单操作,如insert,delete,update,select等.1 常见命令和用法 (1)创建表:create原创 2017-08-24 14:10:38 · 1252 阅读 · 0 评论