Hbase
Hbase使用
小哇666
专注web/大数据
展开
-
HBase整体架构 和 HMaster,HRegionServer概述
1.1 HMaster HMaster没有单点问题,HBase中可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个Master运行,HMaster在功能上主要负责Table和Region的管理工作: 管理用户对Table的增、删、改、查操作(admin操作); 管理HRegionServer的负载均衡,调整Region分布; 在Region 合并分裂后,负责新的Region重新分配; 在HRegionServer停机后,负责失效HRe..原创 2020-10-07 18:39:58 · 1576 阅读 · 0 评论 -
HBase常见名词概述 和 hdfs中展现的形式
常见名词概述namespace //名称空间,就是数据库table //表row //行,是列族的集合columnfamily //列族,是列的集合column //列,是cell的集合,有多个版本。cell //通过三级定位,rowkey行键 + colum...原创 2020-10-07 18:02:28 · 107 阅读 · 0 评论 -
HBase 热点问题 和 phoenix 预分区表,盐表的运用
HBase 热点问题刚创建 HBase 表的时候默认只有一个 Region 由一个 Region Server 管理,在数据量达到一定值的时候会触发分裂 split,这样会不断的分裂出更多的 Region,由不同的 Region Server 管理,每个 Region 管理的是一段连续的 row key,由 start row key 和 end row key 表示,这样会出现两个问题无法充分利用分布式并发处理的优势,必须等待 Region 自动分裂成多个,这个过程可能会很久 由于每个 Regi原创 2020-10-06 14:32:09 · 466 阅读 · 0 评论 -
CDH集群修改配置文件的方法,这里以hbase-site.xml 为例
cdh集群尽量不要自己去每个节点手动修改 hbase-site.xml, 使用 cloudera manager 修改, 安全 快捷配置一般分为服务端配置和客户端配置, 为了保险起见, 我平时配置的时候都是两个一起改, 下面是修改办法.修改之后切记要 重启hbase, 并且部署客户端配置...转载 2020-10-05 12:26:08 · 1501 阅读 · 0 评论 -
Hive和Hbase整合使用,注意事项,细节等,没有讲整合的环境搭建
配置 hive 与 hbase 整合的目的是利用 HQL 语法实现对 hbase 数据库的增删改查操作,基本原理就是利用两者本身对外的API接口互相进行通信,两者通信主要是依靠hive_hbase-handler.jar工具类。但请注意:使用Hive操作HBase中的表,只是提供了便捷性,前面章节已经介绍,hiveQL引擎使用的是MapReduce,对于性能上,表现比较糟糕,在实际应用过程中可针对不同的场景酌情使用。至于整合的环境的搭建,请小伙伴自行baidu,不好意思比如hbase中的如下表,结构如下原创 2020-09-14 15:41:38 · 306 阅读 · 0 评论 -
Impala或hive与HBase整合
Impala与HBase整合impala可以通过Hive外部表的方式和Hbase进行整合-步骤一:创建HBASE表,添加数据create 'test_info','info';put 'test_info','1','info:name','similarFish';put 'test_info','2','info:name','fish';-步骤二:创建hive表create external table test_info(key string,name string)原创 2020-09-02 17:30:23 · 405 阅读 · 0 评论 -
hbase java操作api - 过滤器Filter使用
过滤器(Filter) 基础API中的查询操作在面对大量数据的时候是非常苍白的,这里Hbase提供了高级的查询方法:Filter。Filter可以根据簇、列、版本等更多的条件来对数据进行过滤,基于Hbase本身提供的三维有序(主键有序、列有序、版本有序),这些Filter可以高效的完成查询过滤的任务。带有Filter条件的RPC查询请求会把Filter分发到各个RegionServer,是一个服务器端(Server-side)的过滤器,这样也可以降低网络传输的压力。 要完成一个过滤的操作,至少需原创 2020-09-13 21:07:56 · 2706 阅读 · 0 评论 -
hbase java操作api - Append,Incr自增,batchCallback,batch(put,delete,append可同时使用)的使用
代码示例有很多的代码是重复的,只是为形成记忆,见谅,另外需要将 hbase-site.xml,hdfs-site.xml,core-site.xml三个文件放到Resources上目录中import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.client原创 2020-09-13 19:42:15 · 1198 阅读 · 0 评论 -
hbase java操作api - Get,Scan相关的api
代码示例有很多的代码是重复的,只是为形成记忆,见谅,另外需要将 hbase-site.xml,hdfs-site.xml,core-site.xml三个文件放到Resources上目录中import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.clie.原创 2020-09-13 19:34:56 · 747 阅读 · 0 评论 -
hbase java操作api - 同步put,异步put,checkAndPut,checkAndDelete,清空表所有记录等api
代码示例有很多的代码是重复的,只是为形成记忆,见谅,另外需要将 hbase-site.xml,hdfs-site.xml,core-site.xml三个文件放到Resources上目录中import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.client原创 2020-09-13 19:28:05 · 1192 阅读 · 0 评论 -
hbase java操作api - nameSpace,表,列族,列的操作 代码示例
代码示例有很多的代码是重复的,只是为形成记忆,见谅,另外需要将 hbase-site.xml,hdfs-site.xml,core-site.xml三个文件放到Resources上目录中import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.client原创 2020-09-13 19:19:05 · 2520 阅读 · 0 评论 -
hbase java操作api - HBaseAdmin,HTable,HTableDescriptor,Put,Get等类说明(文档)
一、几个主要 Hbase API 类和数据模型之间的对应关系:1、 HBaseAdmin关系: org.apache.hadoop.hbase.client.HBaseAdmin作用:提供了一个接口来管理 HBase 数据库的表信息。它提供的方法包括:创建表,删除表,列出表项,使表有效或无效,以及添加或删除表列族成员等。2、 HBaseConfiguration关系: org.apache.hadoop.hbase.HBaseConfiguration作用:对 HBase 进行.原创 2020-09-11 16:22:14 · 1991 阅读 · 0 评论 -
Hbase Region的拆分和合并
大白话解释:hbase中,如果一张表有100条记录,默认都是放到一个region中,如果想把前50条放到一个region,后50条放到一个region中,就要用到region的拆分,反之就是合并首先看看hdfs上文件目录的情况执行scan ‘hbase:meta’查看表的元数据Split拆分开始做split,运行命令split 'ns1:mytest_4','person-5'此过程有点慢,稍微等一下等拆分完成后,接着看下 拆分 后 hdfs和元数据的情况merge_.原创 2020-09-11 16:06:01 · 647 阅读 · 0 评论 -
Hbase shell命令使用 get,scan,时间戳,过滤器,版本等参数详细使用说明
备注:COLUMN 和 COLUMNS 是不同的,scan 操作中的 COLUMNS 指定的是表的列族, get操作中的 COLUMN 指定的是特定的列,COLUMNS 的值实质上为“列族:列修饰符”。COLUMN 和 COLUMNS 必须为大写。get相关的操作查看 scores 表中的 Jim 行的相关数据。 get 'scores','Jim' 获取rowKey=Jim并且 1552819392398 <= 时间戳范围 < 1552819398244get 'sco原创 2020-09-08 11:39:49 · 10405 阅读 · 0 评论 -
Hbase Shell命令大全
—般操作1 查看命令行的具体使用helphelp 'scan'2 查看操作表的命令table_help3 查询服务器状态可以为 ‘summary’, ‘simple’, ‘detailed’, or ‘replication’. 默认为 ‘summary’statusstatus 'simple'4 查询版本号version1.2.1,r8d8a7107dc4ccbf36a92f64675dc60392f85c015,Wed Mar 30 11:19:21 CDT 2016原创 2020-09-08 11:36:09 · 1539 阅读 · 0 评论