![](https://img-blog.csdnimg.cn/20190927151101105.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
HBase
Hbase
说文科技
同名公众号【说文科技】,做有态度的研究。
展开
-
HBase+Zookeeper安装
HBase+Zookeeper运行在单机环境下的配置1.hbase-site.xml的配置<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--原创 2018-05-05 19:34:32 · 7953 阅读 · 0 评论 -
HMaster节点无故挂掉
HMaster节点无故挂掉1.报错信息:2018-09-05 18:40:58,483 FATAL [main-EventThread] master.HMaster: Master server abort: loaded coprocessors are: []2018-09-05 18:40:58,483 FATAL [main-EventThread] master.HMas...原创 2018-09-05 20:40:54 · 5851 阅读 · 1 评论 -
HBase 开启GC
HBase 开启GC【待完善】0.前言开启HBase的GC有利于定位问题1.查看hbase-env.sh文件,找到以下几行,可以看到这里有关于HBase GC的问题。原创 2018-09-05 21:43:50 · 616 阅读 · 0 评论 -
Hbase shell命令删除操作不好使用的问题
Hbase shell命令删除操作不好使用的问题1.问题在使用hbase shell的时候,发现在终端敲的命令无法使用Backspace进行删除,2.解决办法调整xshell的键盘模式,如下图示:hbase(main):001:0> list ...原创 2018-11-14 11:48:38 · 424 阅读 · 0 评论 -
Java开发HBase程序报错:HADOOP_HOME or hadoop.home.dir are not set.
Java开发HBase程序报错:HADOOP_HOME or hadoop.home.dir are not set.1.报错16:36:44.271 [main] DEBUG org.apache.hadoop.util.Shell - Failed to detect a valid hadoop home directoryjava.io.IOException: HADOOP_HOM...原创 2018-11-14 16:42:46 · 6066 阅读 · 1 评论 -
HBase实战案例之使用Scanner获取数据
HBase 实战案例之使用Scanner获取数据1.Java API 简介1.1 getScanner()getScanner方法有三个重载模型,分别如下:getScanner(Scan scan) /** * Returns a scanner on the current table as specified by the {@link Scan} * object...原创 2018-11-16 21:19:54 · 3891 阅读 · 0 评论 -
HBase Scan 得到了数据,但是get得不到数据
HBase Scan 得到了数据,但是get得不到数据1. 问题如下:2. 测试我怀疑有两种情况:分别是:数据被delete了rowKey结尾有空格经验证,只有rowKey 末尾有空格时会导致无法查出此值。...原创 2018-12-20 16:07:28 · 2740 阅读 · 4 评论 -
HBase中的术语详解
HBase 中的术语详解【updating…】1. Cell1.1 什么是Cell?cell应该可以算是 HBase 中最小的维度,指的就是 HBase 中具有值的那行数据。每个tableName,rowKey,columnFamily,qualifier,value 所表示的维度就是一个cell。例如hbase(main):006:0> get 'ns_ct:calllog'...原创 2018-12-23 12:04:14 · 1662 阅读 · 0 评论 -
HBase 实战案例二之 get 命令
HBase 实战案例二之 get 命令【updating…】1. get 命令get命令是用来获取Hbase表中某行的数据2. 实战案例在笔者的 hbase 集群中,有一个表 ns_ct:calllog,在开发过程中,我们不能随便使用scan [tablename] 去获取数据,因为这样会导致扫描整张表。是一个I/O密集型操作。但是在不知道 该表的 行键时 且表数据 较少时,我们可以用sc...原创 2018-12-18 16:30:04 · 4479 阅读 · 0 评论 -
HBase架构原则
HBase架构原则1.对列族,没有内部的KeyValue之外的元数据保存。---> 列族只保存KeyValue这一种元数据2.HBase【0.92版本】中列族不宜过多的原因:每个 RegionServer 包含多个 Region,每个 Region 包含多个Store,每个 Store 包含一个 MemStore 和多个 StoreFile。在 Hbase 的表中,每个列族对应 R...原创 2018-07-17 09:51:31 · 404 阅读 · 0 评论 -
HBase实战案例一之基本Shell命令
HBase基本Shell命令Hbase 建表语句create 'telecom','cf'插入部分测试数据(1)插入呼叫时长put 'telecom', '001','cf:duration', 2046put 'telecom', '002','cf:duration', 782put 'telecom', '003','cf:duration', 3062put 'tele...原创 2018-07-02 21:47:55 · 446 阅读 · 0 评论 -
HBase提示已创建表,但是list查询时,却显示表不存在。
HBase提示已创建表,但是list查询时,却显示表不存在。1.问题出现在zookeeper上。 2.启动zkCli.sh服务 3.ls /hbase/table-lock查看已经建立的表。rmr /hbase/table-lock/[tableName] ls /hbase/table查看已经建立的表。rmr /hbase/table/[tableName]...原创 2018-05-06 17:03:56 · 2792 阅读 · 0 评论 -
HBase命名空间
HBase命名空间1.什么是命名空间? 我的理解就是:对hbase中表的逻辑划分,就类似于c#语言中的命名空间【对代码进行分类】一样。 2.针对命名空间,基本的操作如下://1.创建一个命名空间:"haha"hbase(main):001:0> create_namespace 'haha'0 row(s) in 1.0220 seconds//2.查看命名空间:"h...原创 2018-05-07 19:11:40 · 6286 阅读 · 0 评论 -
HBase无法在Web UI 上查看
HBase无法在Web UI 上查看1.原因HBase无法在Web UI 上查看,是因为在1.0版本之后,默认不开启。所以需要手动设置。 vi hbase-site.xml 添加如下内容: <property> <name>hbase.master.info.port</name> <value>...原创 2018-06-16 15:44:37 · 5359 阅读 · 0 评论 -
HBase和MapReduce框架之TableMapReduceUtil类
HBase和MapReduce框架之TableMapReduceUtil类initTableMapperJob方法public static void initTableMapperJob(String table, Scan scan, ...原创 2018-06-24 16:58:17 · 2146 阅读 · 0 评论 -
Windows上连接虚拟机上的HBase出现问题
Windows上连接虚拟机上的HBase出现问题1.开发环境虚拟机:centos6.5其余大数据主要组件及版本如下:[root@littlelawson local]# lldrwxr-xr-x. 6 root root 4096 Apr 26 16:07 apache-maven-3.5.3drwxrwxr-x. 10 hadoop hadoop 4096 Apr...原创 2018-06-17 22:13:41 · 1800 阅读 · 0 评论 -
HBase协处理器实战
HBase协处理器实战1.概念HBase的coprocessor分为两类,Observer和EndPoint。Observer相当于触发器,代码部署在服务端,相当于对API调用的代理。HBase中的协处理器可以被理解为Mysql中的触发器或者是存储过程。2.实战step 1.编写Java程序这里使用RegionObserver作为示例,简单介绍RegionServer的...原创 2018-06-19 20:02:28 · 3192 阅读 · 0 评论 -
HBase中建立分区(表)
HBase中建立分区表1.什么是分区表?在HBase中,每个表默认时都由一个Region存储原数据,但是若当数据慢慢增加时,就会将一个Region分裂成其他若干个不同的region。但是这种无序的分裂,会让后期的表扫描,表过滤操作很不方便(特别耗时)。正是着眼于未来表的改变,于是有了为表创建分区的操作。 一个有效的提高批量导入的性能的方式,是预创建空的区域。但同时需要稍微保守一点,因...原创 2018-06-19 20:34:28 · 11501 阅读 · 2 评论 -
HBase常见报错
HBase启动出现问题org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hbase/MasterProcWALs/state-00000000000000000011.log could only be replicated to 0 nodes instead of minReplication (=1). T...原创 2018-07-08 16:32:28 · 6874 阅读 · 0 评论 -
HBase 手动调整Region大小
HBase 手动调整Region大小【updating…】1. 背景今天遇到的一个问题是:笔者的HBase集群,有两个region,根据某个订单号进行分区,但是因为导入了一批旧的历史数据,导致cdh216 节点上的请求超标,而cdh215上的节点请求很低。2. 调整日志进入HMaster 的页面,然后找到相应的 Table,接着可以看到有如下界面:在这个界面上,可以看到有相应的 Ac...原创 2018-12-29 17:04:33 · 2814 阅读 · 0 评论