HBase
RashaunHan
这个作者很懒,什么都没留下…
展开
-
HBase逻辑视图
1.行键(RowKey)与 NoSQL 数据库们一样,RowKey 是用来检索记录的主键。访问 HBase Table 中的行,只有三种方式:1、通过单个 row key 访问2、通过 row key 的 range3、全表扫描RowKey 行键可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),最好是 16。在 HBase 内...转载 2018-11-29 09:28:43 · 282 阅读 · 0 评论 -
HBase添加协处理器并且使其生效
1.在hbase-site.xml中添加如下配置信息使协处理器生效 <property> <name>hbase.coprocessor.region.classes</name> <value>hbase.CalleeWriteObserver</value> </property>以上的类名换成自...原创 2018-12-11 11:56:25 · 1130 阅读 · 0 评论 -
从kafka往hbase写数据时无法写入的问题(region server中出现与master的默认hostname相同的regionserver节点)
在通过flume将生产的日志传递到kafka再通过kafka向hbase写入数据的时候出现问题在执行到flushCommits() 这一步的时候程序卡着不动了,无法进行下一步执行 检查Master:16010发现region server这一项中有一个与服务器初始用户的hostname相同的主机version为unknown,但是在hbase...原创 2018-12-07 11:54:16 · 832 阅读 · 0 评论 -
hbase 集群搭建
1、 安装 zookeeper 集群,此处略2、 找到官网下载 hbase 安装包 hbase-1.2.6-bin.tar.gz3、 上传安装包到服务器,并解压到对应的安装目录4、 修改配置文件 1、修改运行环境配置环境 vi hbase-env.sh 修改两个两地方: e...原创 2018-11-28 18:20:56 · 117 阅读 · 0 评论 -
HBase的一些要点
以下五点是 HBase 这个 NoSQL 数据库的要点① 高并发,以扩展,解决海量数据集的随机实时增删改查② HBase 本质依然是 Key-Value 数据库,查询数据功能很简单,不支持 join 等复杂操作(可通过 Hive 支持来实现多表 join 等复杂操作)③ 不支持复杂的事务,只支持行级事务④ HBase 中支持的数据类型:byte[](底层所有数据的存储都是字节数...原创 2018-11-27 16:34:08 · 156 阅读 · 0 评论 -
HBase的逻辑视图
1.行键(RowKey)与 NoSQL 数据库们一样,RowKey 是用来检索记录的主键。访问 HBase Table 中的行,只有三种方式:1、通过单个 row key 访问2、通过 row key 的 range3、全表扫描RowKey 行键可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),最好是 16。在 HBase 内...转载 2018-11-27 16:33:27 · 1066 阅读 · 0 评论 -
HBase 应用场景
1、半结构化或非结构化数据对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用 HBase。而且 HBase 是面向列的,HBase 支持动态增加字段2、记录非常稀疏RDBMS 的行有多少列是固定的,为 null 的列浪费了存储空间。而 HBase 为 null 的 Column是不会被存储的,这样既节省了空间又提高了读性能。3、多版本数据对于需要存储变动历史...转载 2018-11-27 16:32:46 · 884 阅读 · 0 评论 -
HBase 和 Hive 的比较
1、相同点1、HBase 和 Hive 都是架构在 Hadoop 之上,用 HDFS 做底层的数据存储,用 MapReduce 做数据计算 2、不同点1、Hive 是建立在 Hadoop 之上为了降低 MapReduce 编程复杂度的 ETL 工具。 HBase 是为了弥补 Hadoop 对实时操作的缺陷2、Hive 表是纯逻辑表,因为 Hive 的本身并不能做数据存储和计算,...原创 2018-11-27 16:31:43 · 543 阅读 · 1 评论 -
hbase 集群架构
Region:是 HBase 将一个表中的所有数据按照 RowKey 的不同范围进行切割的逻辑单元,每个 Region 负责一定范围数据的读写访问。Region 由 RegionServer 负责管理。HBase 中的 Region的概念就和 HDFS 中的数据块的概念差不多,Region 是 HBase 表切分出来的一个分片。数据块是 HDFS 中的一个大文件切分出来的一个分片。HMas...原创 2018-11-27 16:30:52 · 884 阅读 · 1 评论 -
通过kafka,flume消费自己生产的数据到hbase的准备
1.启动zookeeper2.启动kafka集群的broker服务kafka-server-start.sh /home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties3.打开新的shell窗口创建主题kafka-topics.sh --zookeeper ali:2181 --topic calllog --crea...原创 2018-12-11 11:58:36 · 758 阅读 · 0 评论