HBase非关系型数据库

		
1. HBase非关系型数据库

		1) 对比和数据模型
			1.  HBase-Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库
			
			2.  在Hadoop生态圈中，它是其中一部分且利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务,主要用来存储非结构化和半结构化的松散数据（NoSQL非关系型数据库有redis、MongoDB等）
			3. 简单来说，关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织
			4. 关系型数据库的3大优点
				1. 容易理解：二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其他模型来说更容易理解 
				2. 使用方便：通用的SQL语言使得操作关系型数据库非常方便
				3. 易于维护：丰富的完整性(实体完整性、参照完整性和用户定义的完整性)大大减低了数据冗余和数据不一致的概率
		
		2) 关系型数据库的3大瓶颈
			1. 高并发读写需求：网站的用户并发性非常高，往往达到每秒上万次读写请求，对于传统关系型数据库来说，硬盘I/O是一个很大的瓶颈，并且很难能做到数据的强一致性。
			2. 海量数据的读写性能低：网站每天产生的数据量是巨大的，对于关系型数据库来说，在一张包含海量数据的表中查询，效率是非常低的。
			3. 扩展性和可用性差：在基于web的结构当中，数据库是最难（但是可以）进行横向扩展的，当一个应用系统的用户量和访问量与日俱增的时候，数据库却没有办法像web server和app server那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说，对数据库系统进行升级和扩展是非常痛苦的事情，往往需要停机维护和数据迁移。
			4. 非关系型数据库特点：
				1. 一般不支持ACID特性，无需经过SQL解析，读写性能高 存储格式：key value，文档，图片等等数据没有耦合性，容易扩展
				2. 但非关系型数据库由于很少的约束，他也不能够提供像SQL所提供的where这种对于字段属性值情况的查询。并且难以体现设计的完整性。他只适合存储一些较为简单的数据，对于需要进行较复杂查询的数据，SQL数据库显的更为合适
				3. 由于非关系型数据库本身天然的多样性，以及出现的时间较短，因此，不像关系型数据库，有几种数据库能够一统江山，非关系型数据库非常多，并且大部分都是开源的。
				4. 这些数据库中，其实实现大部分都比较简单，除了一些共性外，很大一部分都是针对某些特定的应用需求出现的，因此，对于该类应用，具有极高的性能
				5. 依据结构化方法以及应用场合的不同，主要分为以下几类：
					1. 面向高性能并发读写的key-value数据库：Redis,Tokyo Cabinet,Flare 
					2. 面向海量数据访问的面向文档数据库：MongoDB以及CouchDB，可以在海量的数据中快速的查询数据
					3. 面向可扩展性的分布式数据库：这类数据库想解决的问题就是传统数据库存在可扩展性上的缺陷，这类数据库可以适应数据量的增加以及数据结构的变化
		3)  数据模型
			1. ROW KEY
				1. 决定一行数据
				2. 按照字典顺序排序的
				3. Row key只能存储64k的字节数据
			2. Column Family列族 & qualifier列
				1. HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema) 定义的一部分预先给出。如 create ‘test’,‘course’；
				2. 列名以列族作为前缀，每个“列族”都可以有多个列成员(column)；如course:math, course:english, 新的列可以随后按需、动态加入；权限控制、存储以及调优都是在列族层面进行的；
				3. HBase把同一列族里面的数据存储在同一目录下，由几个文件保存
			3. Cell单元格
				1. 由行和列的坐标交叉决定； 单元格是有版本的； 
				2. 单元格的内容是未解析的字节数组；
				3. 由{row key， column( =<family> +<qualifier>)， version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。
			4. Timestamp时间戳
				1. 在HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个 版本之间的差异，不同版本的数据按照时间倒序排序，最新的数据版本排在最前面。
				2. 时间戳的类型是 64位整型。
				3. 时间戳可以由HBase(在数据写入时自动)赋值，此时时间戳是精确到毫秒的当前系统时间。 时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。
			5. HLog(WAL log)
				1. HLog文件就是一个普通的HadoopSequenceFile，Sequence File的Key是 HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括 sequence number和timestamp，timestamp是”写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。
				2. HLog SequeceFile的Value是HBase的KeyValue对象，即对应HFile中的KeyValue。
		4) 体系架构
			1. Client
				1. 包含访问HBase的接口并维护cache来加快对HBase的访问 
			2. Zookeeper
				1. 保证任何时候，集群中只有一个master； 
				2. 存贮所有Region的寻址入口。
				3. 实时监控Region server的上线和下线信息。并实时通知Master
				4. 存储HBase的schema和table元数据
			3. Master 
				1. 负责Region server的负载均衡； 
				2. 发现失效的Region server并重新分配其上的region；
				3. 管理用户对table的增删改操作；
			4. RegionServer 
				1. Region server维护region，处理对这些region的IO请求 
				2. Region server负责切分在运行过程中变得过大的region
			5. Region
				1. HBase自动把表水平划分成多个区域(region)，每个region会保存一个表里 面某段连续的数据；每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region（裂变）；
				2. 当table中的行不断增多，就会有越来越多的region。这样一张完整的表被保存在多个Regionserver 上。
				3. Memstore与storefile
					1.  一个region由多个store组成，一个store对应一个CF（列族） 
					2.  store包括位于内存中的memstore和位于磁盘的storefile写操作先写入
						memstore，当memstore中的数据达到某个阈值，hregionserver会启动
						flashcache进程写入storefile，每次写入形成单独的一个storefile；当storefile文件的数量增长到一定阈值后，系统会进行合并（minor、majorcompaction），在合并过程中会进行版本合并和删除工作（majar），形成更大的storefile
					3. 当一个region所有storefile的大小和超过一定阈值后，会把当前的region分割为两个，并由hmaster分配到相应的regionserver服务器，实现负载均衡
					4. 客户端检索数据，先在memstore找，找不到再找storefile
					5. HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表示不同的HRegion可以分布在不同的 HRegion server上。
					6. HRegion由一个或者多个Store组成，每个store保存一个columns family。
					7. 每个Strore又由一个memStore和0至多个StoreFile组成。如图：StoreFile以HFile格式保存在HDFS上。

		
2. Hbase 安装部署

	1) 关防火墙：service iptables stop
	2) 同步时间：ntpdate cn.ntp.org.cn
	3)  解压Hbase.tar包
		tar -zxvf 具体hbasetar包
	4) 拷贝hadoop下/etc/hadoop hdfs-site.xml到Hbase下/conf
	5) 配置hbase下/conf
		 vim hbase-env.sh
		 修改hbase-env.sh中配置JAVA_HOME,不使用HBase的默认zookeeper配置:HBASE_MANAGES_ZK=false
	6) 配置hbase-site.xml
		vim hbase-site.xml
		<property>
			<name>hbase.rootdir</name>
			<value>hdfs://dengmin/hbase</value>
		</property>
		<property>
			<name>hbase.cluster.distributed</name>
			<value>true</value>
		</property>
		<property>
			<name>hbase.zookeeper.quorum</name>
			<value>node01,node02,node03</value>
		</property>
	7) 配置regionservers 添加你配置的regionservers 的主机名
		vim regionservers
	    node02
	    node03
	8) 配置backup-masters 添加你配置的master备份的主机名
		vim backup-masters
    	node03
    9) 配置环境变量
    	vim ~/.bash_profile

		拷贝到其他节点
		scp -r ~/.bash_profile node02:/root/
		scp -r ~/.bash_profile node03:/root/
		记得一定要 source ~/.bash_profile（node01、node02、node03都记得要）
	10) hbase拷贝其他节点
		scp -r hbase-0.98.12.1-hadoop2 node02:`pwd`
		scp -r hbase-0.98.12.1-hadoop2 node03:`pwd`
	11) 然后启动zkServer.sh start
		start-all.sh
		不需要启动yarn
		start-hbase.sh