hbase
文章平均质量分 55
小赵要加油
这个作者很懒,什么都没留下…
展开
-
sqoop的简单使用案例
目录导入数据RDBMS到HDFS1)全部导入2)查询导入导入数据在sqoop中,”导入“概念指:在非大数据集群(RDBMS)向大数据集群(HDFS、HIVE、HBASE)中传入数据,叫做:导入,即使用import关键字。RDBMS到HDFS确定mysql服务开启正常在MySQL中新建一张表并插入一些数据CREATE DATABASE company;CREATE TABLE company.staff( id INT(4) PRIMARY KEY NOT NULL AUTO_I原创 2021-10-15 10:00:40 · 130 阅读 · 0 评论 -
hbase 写数据流程
写数据之前需要启动zk、hbaseclient请求上传一条(put)数据client向zookeeper请求meta表所在的RegionServerzookeeper将meta:hadoop102表返回给clientclient去Hadoop102上去请求meta表hadoop102返回meta,并获取RSclient将元数据进行缓存(meta cache)client向hadoop103进行发送put请求hadoop103先将数据写入预写日志(WAL),再将数据写入内存(metaSto..原创 2021-04-14 12:38:00 · 192 阅读 · 0 评论 -
hbase框架原理
依赖于hdfs 以及zkStoreFile:保存实际的物理文件,StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile(HFile),数据子啊每一个StoreFile中都是有序的Store:存放在Region中,相当于列族,一个Region中可以存放一个或多个StoreMemStore:写缓存,由于HFile中的数据要求是有序的,所以数据是先存储在memStore中,拍好序后,等到达到刷写时机才会刷写到HFile,每次刷写都会形成一个新的HFileW..原创 2021-04-14 11:11:52 · 46 阅读 · 0 评论 -
hbase命令操作(DML)多版本
1.首先在hbase中新建一张表create 'zhao','info'2.去查看表的版本desc 'zhao'3.修改表的版本alter 'zhao',{NAME=>'info',VERSIONS=>3}4.向表中插入一条数据put 'zhao','1001','info:name','zhangsan'5.去查看表中的数据get 'zhao','1001',{COLUMN=>'info:name',VERSIONS=>3}6.向表中在插入一条数原创 2021-04-14 09:54:16 · 350 阅读 · 0 评论 -
hbase shell操作
目录一、基本操作1.进入hbase客户端命令2.查看帮助命令3.查看当前数据库中有哪些表二、表的表述1.创建表2、查看表详情3、改表4、删除表三、命名空间namespace1、查看命名空间2、创建命名空间3、在新建的namespace中建表删除namespace中新建的表四、命令行操作DML1.插入数据(增)2、查看数据(查)2.1使用scan查看数据2.2使用get查看数据3、改4、删一、基本操作1.进入hbase客户端命令bin/hbase shell2.查看帮助命令help3.查看当前原创 2021-04-14 09:19:51 · 224 阅读 · 1 评论 -
hbase简介
hbase逻辑结构row key排序是按照字典排序进行region:是一张表的切片,进行横向切片(按照数据量进行切分)store:存储的信息hbase物理存储结构TimeStamp:不同版本的数据根据timestamp进行区分Type:对于删除操作,其类型为Deletestorefile:物理存储结构数据模型Name Space:命名空间,类似于关系型数据库的database概念,每个命名空间下有多个表。Hbase有两个自带的命名空间,分别是hbase和default,hb原创 2021-04-13 19:17:24 · 179 阅读 · 0 评论