hbase开发
xugen12
这个作者很懒,什么都没留下…
展开
-
hbase协处理器--创建endpoint协处理器
下载hbase-source之后,里面有相应的源代码,可以找到RowCountEndpoint.java,ExampleProto.java等一系列代码。通过阅读源代码以及其中的注释,我们可以知道,Hbase的很多的功能都是通过protobuf这个工具来生成代码,尤其是其中的RPC调用的工作,主要都是通过protobuf软件生成。参看Roccount.java的代码,我们发现,一个协处理器必须原创 2015-08-24 10:41:34 · 1360 阅读 · 0 评论 -
Hbase导入数据错误
org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/meta-region-serverat org.apache.zookeeper.KeeperException.create(KeeperException.java:99)a原创 2015-09-07 10:48:09 · 3181 阅读 · 0 评论 -
Rowkey设计部分
Rowkey Design35.1. HotspottingRows in HBase are sorted lexicographically by row key. This design optimizes for scans, allowing you to store related rows, or rows that will be read toge翻译 2016-11-15 20:51:18 · 994 阅读 · 0 评论 -
HBase-1.0读写数据
public class WordCount{public static void main(String[] args) throws IOException{ Configuration conf = HBaseConfiguration.create();conf.set("hbase.rootdir", "hdfs://localhost:9000/hbase");原创 2015-08-26 20:30:07 · 1051 阅读 · 0 评论 -
基于分布式列数据库的时空数据库——Geomesa
一款直接时空处理分析的开源数据库---geomesa,可用于交通轨迹数据存储分析等相关领域,在分布式列数据库的基础上进行扩展,目前支持Accumulo, HBase, Cassandra, and Kafka等作为底层存储。地址链接: http://www.geomesa.org/翻译 2017-02-18 21:50:37 · 5888 阅读 · 0 评论 -
hadoop jar丢失查找
Hadoop、HBase包丢失查找原创 2017-03-21 10:30:21 · 2767 阅读 · 0 评论 -
HBase RowFilter构建报错
Caused by: com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field. This could mean either than the input has been...转载 2018-09-25 09:21:22 · 630 阅读 · 0 评论 -
offset (0) + length (4) exceed the capacity of the array: 2
使用spring-for-hadoop读取HBase,出现以下错误:主要原因是:我自己定义的dto采用了Float,而从数据库取数据的时候,采用了Bytes.toFloat方法对数据进行转换,查看源码,可知道Bytes.toFloat返回的是基本类型float,两者类型不符合,导致出现错误,使用以下方法进行数据转换即可:Float.valueof(Bytes.toString())即可。...原创 2018-09-30 09:30:35 · 4155 阅读 · 0 评论 -
Hadoop与HBase匹配图
Hadoop与HBase存在一定的匹配关系。现将其记录如图,以便将来查询:翻译 2016-05-19 16:43:01 · 876 阅读 · 0 评论 -
HBase预分区region自定义算法
参考网址:http://www.soso.io/article/69759.html1 编写filesplit.java文件 2.编译该Java文件。$ javac -Djava.ext.dirs FileSplit.java3.将包含有分割键信息的split-keys文件复制到编译生成FileSplit类的目录下。4.运行如下脚本来在创建表的时候预创建一原创 2016-05-18 17:48:34 · 4603 阅读 · 0 评论 -
Hbase coprocessor获取数据
HBase获取数据的时候,在org.apache.hadoop.hbase.master.MasterDumpServelet.doGet()处报错,主要是因为我们在RPC中定义的数据类型与我们从HBase中返回的数据类型不一致,导致Get不到数据,从而在客户端报错。将错误的数据类型改正,问题得到解决。原创 2015-08-27 21:00:50 · 457 阅读 · 0 评论 -
HBase配置HMaster死亡
在配置HBase的时候,我们经常遇到一个问题就是regionserver正常运行,但是HMaster进程会在开始启动之后的十几秒内退出。使得HBase配置失效,经常发生的错误如下所示:2015-06-06 17:23:33,232 INFO [master1:16020.activeMasterManager] master.SplitLogManager: dead splitlog wo原创 2015-08-04 17:08:23 · 4807 阅读 · 0 评论 -
Hbase split region代码阅读笔记
在服务器端进行Region的分割,其分割的代码在org.apache.hadoop.hbase.regionserver包下的SplitRequest.java其中的run()函数:SplitTransaction st = new SplitTransaction(parent, midKey);.......st.execute(this.server, this.server原创 2015-09-27 22:47:39 · 929 阅读 · 0 评论 -
hadoop hbase metric
系统参数监控metricsload_one 每分钟的系统平均负载load_fifteen 每15分钟的系统平均负载load_five 每5分钟的系统平均负载boottime 系统启动时间,精确到秒bytes_in 网络接收速度,单位bytes/sec转载 2015-09-08 10:05:57 · 1064 阅读 · 0 评论 -
HBase Shell工具操作HBase
HBase的shell工具是常用的工具,运维过程的DDL和DML都会通过此进行,其具体实现是用Ruby语言编写的,并且使用了JRuby解释器。该工具模式有两种常用的模式:交互模式和命令批处理模式。交互模式用于随机访问,而命令批处理模式通过使用shell编程来批量、流程化处理访问命令,常用于HBase集群运维和监控中的定时执行命令。1,命令分类选择一台HBase集群的节点(最好是客户端节原创 2015-11-24 18:30:30 · 5606 阅读 · 0 评论 -
HBase过滤器
1,比较器比较器是过滤器的核心组成之一,用于处理具体的比较逻辑,例如字节级的比较、字符串的比较等。1.1,RegexStringComparator支持正则表达式(与Java的正则表达式相同,参考http://docs.oracle.com/javase/6/docs/api/java/util/regex/Pattern.html,下面是使用的实例:RegexStringComp原创 2015-11-28 09:41:44 · 548 阅读 · 0 评论 -
HBase源代码自编译
修改pom.xml中hadoop2版本信息,通过pom.xml, hbase 1.0已经取消对hadoop 1.X系列的支持。 vi pom.xml 2.6.03、编译源码执行命令:MAVEN_OPTS="-Xmx3g" mvn install -DskipTests assembly:single -Prelease编译生成的部署包若想带上文档,使用MAV转载 2016-05-19 19:38:29 · 1037 阅读 · 1 评论 -
log4jConfigLocation invalid
错误信息如下:因为web.xml配置了log4jConfiguration,而resource里面缺少对应的文件,补上即可。java.lang.IllegalArgumentException: Invalid 'log4jConfigLocation' parameter: class path resource [/log4j.properties] cannot be resolved...转载 2018-10-09 22:00:11 · 1452 阅读 · 1 评论