![](https://img-blog.csdnimg.cn/20190929000945223.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
HBase
不稳定记忆
静心则专,静思则通,静身则安,静默则熟。
展开
-
HBase项目之微博系统
1、涉及概念梳理:命名空间1.1、命名空间的结构1) Table:表,所有的表都是命名空间的成员,即表必属于某个命名空间,如果没有指定,则在default默认的命名空间中。2) RegionServer group:一个命名空间包含了默认的RegionServer Group。3) Permission:权限,命名空间能够让我们来定义访问控制列表ACL(Access Contr...原创 2019-10-12 21:13:16 · 1896 阅读 · 0 评论 -
HBase的优化
1、高可用在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。1) 关闭HBase集群(如果没有开启则跳过此步) $ bin/stop-hbase.sh 2) 在c...原创 2019-10-12 01:16:38 · 107 阅读 · 1 评论 -
HBase节点的管理
1、服役(commissioning)当启动regionserver时,regionserver会向HMaster注册并开始接收本地数据,开始的时候,新加入的节点不会有任何数据,平衡器开启的情况下,将会有新的region移动到开启的RegionServer上。如果启动和停止进程是使用ssh和HBase脚本,那么会将新添加的节点的主机名加入到conf/regionservers文件中。2、退...原创 2019-10-12 00:39:42 · 595 阅读 · 0 评论 -
HBase数据的备份与恢复
1、备份停止HBase服务后,使用distcp命令运行MapReduce任务进行备份,将数据备份到另一个地方,可以是同一个集群,也可以是专用的备份集群。即,把数据转移到当前集群的其他目录下(也可以不在同一个集群中): $ bin/hadoop distcp \ hdfs://linux01:8020/hbase \ hdfs://linux01:8020/Hbas...原创 2019-10-12 00:38:46 · 330 阅读 · 1 评论 -
HBase与Sqoop的集成
Sqoop supports additional import targets beyond HDFS and Hive. Sqoop can also import records into a table in HBase.之前我们已经学习过如何使用Sqoop在Hadoop集群和关系型数据库中进行数据的导入导出工作,接下来我们学习一下利用Sqoop在HBase和RDBMS中进行数据的转储...原创 2019-10-11 00:10:18 · 149 阅读 · 0 评论 -
HBase与Hive的集成
1、HBase与Hive的对比1) Hive(1) 数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。(2) 用于数据分析、清洗Hive适用于离线的数据分析和清洗,延迟较高。(3) 基于HDFS、MapReduceHive存储的数据依旧在DataNode上,编写的HQL语句终将是转换为MapReduc...原创 2019-10-11 00:05:51 · 118 阅读 · 0 评论 -
Hive-1.2.1集成HBase-1.3.1不兼容问题
在Hive继承HBase中,二者的通信包就是hive-hbase-handler.jar,极其重要。如果我们用$HIVE_HOME/lib目录下的hive-hbase-handler-x.y.z.jar,那么一般都不会集成成功,反而报错如:19/01/29 21:44:54 [htable-pool1-t1]: DEBUG ipc.RpcClientImpl: Use SIMPLE authe...转载 2019-10-10 23:58:44 · 320 阅读 · 0 评论 -
HBase-MapReduce
通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。1、官方HBase-MapReduce1) 查看HBase的MapReduce任务的执行 $ bin/hbase mapredcp ...原创 2019-10-10 14:51:31 · 393 阅读 · 0 评论 -
编写HBaseAPI (Java版)
1、新建Maven Project新建项目后在pom.xml中添加依赖: <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>...原创 2019-10-09 19:53:04 · 181 阅读 · 0 评论 -
HBase读写流程
1、HBase读数据流程1) HRegionServer保存着meta表以及表数据,要访问表数据,首先Client先去访问zookeeper,从zookeeper里面获取meta表所在的位置信息,即找到这个meta表在哪个HRegionServer上保存着。2) 接着Client通过刚才获取到的HRegionServer的IP来访问Meta表所在的HRegionServer,从而读取到Me...原创 2019-10-09 19:46:30 · 133 阅读 · 0 评论 -
HBase简单使用
1、基本操作1) 进入HBase客户端命令行 $ bin/hbase shell 2) 查看帮助命令 hbase(main)> help 3) 查看当前数据库中有哪些表 hbase(main)> list 2、表的操作1) 创建表 hbase(main)> create 'stu...原创 2019-10-09 19:43:10 · 170 阅读 · 0 评论 -
HBase部署
1、Zookeeper正常部署首先保证Zookeeper集群的正常部署,并启动之: $ ~/modules/zookeeper-3.4.5/bin/zkServer.sh start 2、Hadoop正常部署Hadoop集群的正常部署并启动: $ ~/modules/hadoop-2.7.2/sbin/start-dfs.sh $ ~/modules...原创 2019-09-29 00:02:50 · 174 阅读 · 0 评论 -
HBase介绍
1、HBase的起源HBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的子项目来开发维护,用于支持结构化的数据存储。官方网站:http://hbase.apache.org-- 2006年Google发表BigTable白皮书-- 2006年开始开发HBase-- 2008年北京成功开奥运会,程序员默默地将HBase弄成了Hado...原创 2019-09-28 20:59:09 · 160 阅读 · 0 评论