hbase
爱人间
软件工程师,专注于Java后端开发,对微服务架构和云计算有深入研究。在多个大型项目中担任核心开发者,成功实施过高并发、高可用系统的设计与优化。热爱编程,乐于分享,活跃于技术社区。除了java还掌握python和AI技术。期待与更多的同行交流学习,共同进步。
展开
-
Hbase API中常用类介绍和使用
Hbase API 常用类应用网上Hbase的介绍有很多,案例也不少。自己写了个Demo,进行一些简单的总结。HBase 常用类介绍。JAVA API 和 HBase数据库模型之间的关系JAVA 类Hbase 数据模型HBaseAdmin数据库(database)HBaseConfiguration转载 2016-06-29 14:37:15 · 1099 阅读 · 0 评论 -
HBase Rowkey的散列与预分区设计
HBase中,表会被划分为1...n个Region,被托管在RegionServer中。Region二个重要的属性:StartKey与EndKey表示这个Region维护的rowKey范围,当我们要读/写数据时,如果rowKey落在某个start-end key范围内,那么就会定位到目标region并且读/写到相关的数据。简单地说,有那么一点点类似人群划分,1-15岁为小朋友,16-39岁为年轻人转载 2016-12-23 17:53:38 · 1773 阅读 · 0 评论 -
hbase的rowkey设计
HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有两种方式:通过get方式,指定rowkey获取唯一一条记录通过scan方式,设置startRow和stopR转载 2016-12-23 17:52:15 · 499 阅读 · 0 评论 -
hbase表修复
meta表修复一Java代码 查看hbasemeta情况 hbase hbck 1.重新修复hbase meta表(根据hdfs上的regioninfo文件,生成meta表) hbase hbck -fixMeta 2.重新将hbase meta表分给regionserver(根据meta表,将meta表上的region分给regionserv转载 2016-12-09 14:59:35 · 3852 阅读 · 0 评论 -
hbase 客户端超时、重连设置
1.设置的目的由于作为在线服务,需要能够保证在快速失败、失败容错重试等特性。快速失败能保证系统的低延时,能防止因为等待某个资源,造成服务资源暂用,最后导致服务不可用。失败容错能够提供服务的稳定性,进行服务失败是重试。因此Hbase客户端提供的重试机制,并通过配置合理的参数使得客户端在保证一定容错性的同时还能够保证系统的低延迟特性。2.hbase客户端重要参数hbas转载 2016-12-09 14:07:51 · 3442 阅读 · 0 评论 -
HBase数据的导入和导出
1 HBase本身提供的接口其调用形式为:1)导入首先进入hbase根目录,然后输入下面的命令bin/hbase org.apache.hadoop.hbase.mapreduce.Driver import 表名 数据文件位置例如:bin/hbase org.apache.hadoop.hbase.mapreduce.Driver import a原创 2016-09-30 18:24:44 · 871 阅读 · 0 评论 -
HBase备份之导入导出
HBase复制只对设置好复制以后的数据生效,也即,配置好复制之后插入HBase主集群的数据才能同步复制到HBase从集群中,而对之前的历史数据,采用HBase复制这种办法是无能为力的。本文介绍如何使用HBase的导入导出功能来实现历史数据的备份。1)将HBase表数据导出到hdfs的一个指定目录中,具体命令如下:$ cd $HBASE_HOME/$ bin/hbase org.apa转载 2016-09-30 16:49:17 · 492 阅读 · 0 评论 -
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了,我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂,不要紧糊涂的不止你一个,如某个菜鸟的帖子的疑问,when to use Hbase and when to use Hive?....请教了^_^没关系这里我帮大家理清每个技术的原理和思路。Pig一种操作hadoop的轻量级脚本语言,最初又雅转载 2016-09-13 21:21:42 · 504 阅读 · 0 评论 -
HBase Configuration过程
HBase客户端API中,我们看到对HBase的任何操作都需要首先创建HBaseConfiguration类的实例。为HBaseConfiguration类继承自Configuration类,而Configuration类属于Hadoop核心包中实现的类,该类的主要作用是提供对配置参数的访问途径。 Configuration类中的配置参数都是来自于Hadoop的配置文件中,而这转载 2016-08-05 18:08:44 · 5400 阅读 · 0 评论 -
HBase概念学习(九)HTablePool为何弃用?
我们先看HConnection的getTable方法描述:getTableHTableInterface getTable(String tableName) throws IOExceptionRetrieve an HTableInterface implementation for access to a table.转载 2016-07-08 18:14:56 · 3220 阅读 · 1 评论 -
HBase 高性能获取数据 - 多线程批量式解决办法
Solr和HBase专辑1、“关于Solr的使用总结的心得体会”(http://www.cnblogs.com/wgp13x/p/3742653.html)2、“中文分词器性能比较”(http://www.cnblogs.com/wgp13x/p/3748764.html)3、“Solr与HBase架构设计”(http://www.cnblogs.com/wgp13x/p/a8bb8转载 2016-07-08 10:21:47 · 6401 阅读 · 0 评论 -
HBase Rowkey的散列与预分区设计
HBase中,表会被划分为1...n个Region,被托管在RegionServer中。Region二个重要的属性:StartKey与EndKey表示这个Region维护的rowKey范围,当我们要读/写数据时,如果rowKey落在某个start-end key范围内,那么就会定位到目标region并且读/写到相关的数据。简单地说,有那么一点点类似人群划分,1-15岁为小朋友,16-39岁为年轻人转载 2016-07-05 16:16:15 · 567 阅读 · 0 评论 -
HBase 常用Shell命令
进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)>whoami表的转载 2016-07-05 15:45:10 · 412 阅读 · 0 评论 -
HBase配置和使用文档
HBase配置和使用文档...................................................................................................... 1一、 HBase原理和结构说明.................................................................转载 2016-07-13 16:10:29 · 1101 阅读 · 0 评论 -
HBase处理中文字符串
Begin!在设置scan的startRowKey与endRowKey时,经常需要在某个条件字符串后面补充出一个范围。(再比如SingleColumnValueFilter也会用到)比如:我的条件字符串是“abc”,scan时我需要将下述内容都囊括到我scan的范围内。abc123abcdabcabccca....这时候我star转载 2016-07-13 16:07:54 · 5510 阅读 · 0 评论 -
HBase基本数据操作详解
所有代码均基于“hbase 0.96.2-hadoop2 ”版本编写,均实测通过。概述对于建表,和RDBMS类似,HBase也有namespace的概念,可以指定表空间创建表,也可以直接创建表,进入default表空间。对于数据操作,HBase支持四类主要的数据操作,分别是:Put :增加一行,修改一行;Delete :删除一行,删除指定列转载 2016-07-01 15:46:38 · 513 阅读 · 0 评论 -
Hadoop + HBase + Hive 完全分布式部署笔记
完全分布式Hadoop + HBase + Hive 部署过程的的一些问题。NameNode: 192.168.229.132 DataNode: 192.168.229.133/192.168.229.134 --------------------------------------------------------------------------------配置 H转载 2017-05-10 14:25:01 · 1121 阅读 · 0 评论