![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBASE
依旧ฅ=ฅ
想去的地方很远 想买的东西很贵 想守护的东西很美好 所以选择努力
展开
-
Sqoop整合HBase
sqoop是一个数据导入导出的工具,可以将关系型数据库当中的数据导入到大数据平台来,也可以将大数据平台当中的数据导入到关系型数据库当中去我们也可以通过sqoop导入数据到hbase或者从hbase当中导出数据需求一:将mysql表当中的数据导入到HBase当中来第一步:修改sqoop配置文件sqoop导入导出HBase的数据,需要修改sqoop的配置文件sqoop-env.sh...原创 2020-01-02 18:12:32 · 3799 阅读 · 0 评论 -
hive与HBase的整合
hive与我们的HBase各有千秋,各自有着不同的功能,但是归根接地,hive与hbase的数据最终都是存储在hdfs上面的,一般的我们为了存储磁盘的空间,不会将一份数据存储到多个地方,导致磁盘空间的浪费,我们可以直接将数据存入hbase,然后通过hive整合hbase直接使用sql语句分析hbase里面的数据即可,非常方便需求一:将hive分析结果的数据,保存到HBase当中去第一步:拷...原创 2020-01-02 18:05:18 · 3906 阅读 · 0 评论 -
HBase与hive的对比
Hive数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。用于数据分析、清洗Hive适用于离线的数据分析和清洗,延迟较高基于HDFS、MapReduceHive存储的数据依旧在DataNode上,编写的HQL语句终将是转换为MapReduce代码执行。(不要钻不需要执行MapReduce代码的情况的牛角尖...原创 2020-01-02 17:52:17 · 3752 阅读 · 0 评论 -
HBase与MapReduce的集成
HBase当中的数据最终都是存储在HDFS上面的,HBase天生的支持MR的操作,我们可以通过MR直接处理HBase当中的数据,并且MR可以将处理后的结果直接存储到HBase当中去一、读取myuser这张表当中的数据写入到HBase的另外一张表当中去读取HBase当中一张表的数据,然后将数据写入到HBase当中的另外一张表当中去。注意:我们可以使用TableMapper与TableRedu...原创 2019-12-20 22:05:30 · 3927 阅读 · 0 评论 -
HBase的java代码开发(创建表、向表中添加数据、查询数据、过滤器查询、根据rowkey删除数据、删除表操作)
第一步:创建maven工程,导入jar包<repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repos/</...原创 2019-12-20 18:01:47 · 4731 阅读 · 0 评论 -
HBase的rowKey设计技巧
HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有以下几种方式:通过get方式,指定rowkey获取唯一一条记录 通过scan方式,设置startRow和stopR...原创 2019-12-20 15:54:42 · 3693 阅读 · 0 评论 -
HBase的预分区
一、为何要预分区?*增加数据读写效率*负载均衡,防止数据倾斜*方便集群容灾调度region*优化Map数量二、如何预分区?每一个region维护着startRow与endRowKey,如果加入的数据符合某个region维护的rowKey范围,则该数据交给这个region维护。三、如何设定预分区?1、手动指定预分区hbase(main):001:0>...原创 2019-12-17 21:13:32 · 3669 阅读 · 0 评论 -
HBase三个重要机制
一、flush机制1.(hbase.regionserver.global.memstore.size)默认;堆大小的40%regionServer的全局memstore的大小,超过该大小会触发flush到磁盘的操作,默认是堆大小的40%,而且regionserver级别的flush会阻塞客户端读写2.(hbase.hregion.memstore.flush.size)默认:128M...原创 2019-12-17 21:09:56 · 3799 阅读 · 0 评论 -
HBase底层原理(系统架构、表数据模型、物理存储、读写过程、Region管理、Master工作机制)
一、系统架构Client1 包含访问hbase的接口,client维护着一些cache来加快对hbase的访问,比如regione的位置信息。Zookeeper1 保证任何时候,集群中只有一个master2 存贮所有Region的寻址入口3 实时监控Region Server的状态,将Region server的上线和下线信息实时通知给Master4 存储Hbase的s...原创 2019-12-13 21:18:33 · 3763 阅读 · 0 评论 -
HBase shell操作
一、HBase常用shell操作1、进入HBase客户端命令操作界面$ bin/hbase shell2、查看帮助命令hbase(main):001:0> help3、查看当前数据库中有哪些表hbase(main):002:0> list4、创建一张表创建user表,包含info、data两个列族hbase(main):010:0> creat...原创 2019-12-13 18:04:04 · 4018 阅读 · 0 评论 -
HBase的集群环境搭建
注意事项:HBase强依赖zookeeper和hadoop,安装HBase之前一定要保证zookeeper和hadoop启动成功,且服务正常运行第一步:下载对应的HBase的安装包所有关于CDH版本的软件包下载地址如下http://archive.cloudera.com/cdh5/cdh/5/HBase对应的版本下载地址如下http://archive.cloudera.co...原创 2019-12-13 17:55:14 · 3638 阅读 · 0 评论 -
HBASE介绍
一、简介hbase是bigtable的开源java版本。是建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储结构化和半结构化的松散数据。Hbase查询数据功能很简单,不支持...原创 2019-12-13 17:33:33 · 3839 阅读 · 0 评论 -
Hbase 错误
问题一HRgionServer Aborted原因集群各节点时间不同步解决方案联网状态下:与阿里云时间同步 /usr/sbin/ntpdate ntp1.aliyun.com没网状态下:与其他节点同步 /usr/sbin/ntpdate 节点名称...原创 2019-12-11 12:12:11 · 3686 阅读 · 0 评论