![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
文章平均质量分 65
bupt041137
这个作者很懒,什么都没留下…
展开
-
hbase 0.90->0.92升级
0.90->0.92版本之间在hdfs上面存储文件的一些区别:(1)0.92在hbase.rootdir下面多了文件hbase.id,用来存储集群的ClusterId(2)每个Table目录下面了个文件.tableinfo.0000000001(默认从0000000001开始,修改表的属性这个值会增加),用来存储Table的HTableDescriptor(2)0.90使用H...原创 2012-05-25 17:11:33 · 132 阅读 · 0 评论 -
HDFS HBase NIO相关知识
HDFS的NIO有一些相关的知识偶尔需要注意下:(1) 使用了堆外内存Control direct memory buffer consumption by HBaseClienthttps://issues.apache.org/jira/browse/HBASE-4956 standard hbase client, asynchbase client, netty and...原创 2012-09-26 18:29:33 · 222 阅读 · 0 评论 -
hbase jmx
conf/hbase-env.sh 里面配了 JMX后就可以用 jconsole远程连到regionserver上面去看进程的metrics。 # Uncomment and adjust to enable JMX exporting# See jmxremote.password and jmxremote.access in $JRE_HOME/lib/management to...原创 2013-12-11 20:42:19 · 376 阅读 · 0 评论 -
HBase Log Split 配置相关
(1)HMaster SplitLogManager // get a list for previously failed RS which need log splitting work // we recover hbase:meta region servers inside master initialization and // handle other...原创 2013-12-15 16:54:29 · 161 阅读 · 0 评论 -
hbase hbck 导致的multi assign
http://hbase.apache.org/book.html#d2907e14182 $ ./bin/hbase hbck -fixAssignments hbck -fixAssignments执行的时候会从regionserver读取online的region,如果有个region正在opening,那么它会不在online列表中,这个时候hbck会再assign这...原创 2013-12-25 18:03:40 · 179 阅读 · 0 评论 -
hbase build Too many unapproved licenses
[ERROR] Failed to execute goal org.apache.rat:apache-rat-plugin:0.8:check (default) on project hbase: Too many unapproved licenses: 2856 -> [Help 1] 在target/rat.txt下面寻找哪些文件前面打了问号,去掉这些文件!...原创 2013-12-30 16:02:29 · 241 阅读 · 0 评论 -
Unexpected state导致HMaster abort
线上和开发集群都遇到过master abort的情况,而且错误都是Unexpected state导致的FATAL错误2014-01-08 13:44:40,770 FATAL org.apache.hadoop.hbase.master.HMaster: Master server abort: loaded coprocessors are: []2014-01-08 13:44:...原创 2014-01-09 11:44:36 · 449 阅读 · 0 评论 -
hbase的一些语义
hbase里面对一行操作前会加锁。http://hadoop-hbase.blogspot.com/2012/01/hbase-intra-row-transactions.htmlhttps://issues.apache.org/jira/browse/HBASE-3584HBASE-3584的功能是对同一行的Put和Delete可以原子性的完成。 Delete:...原创 2014-06-04 16:39:43 · 154 阅读 · 0 评论 -
hbase shell
hbase shell 命令 mvn clean; mvn package -DskipTests=true -Dhadoop.profile=2.0 https://code.google.com/p/powermock/issues/detail?id=504There is a work-around for this issue: run the j...原创 2013-09-26 11:18:47 · 102 阅读 · 0 评论 -
hbase add table
把table数据从一个集群移动到另外一个集群 (1)把table的目录拷贝过来,放到hbase的root目录下(2)table的region信息写到meta表里面bin/hbase org.jruby.Main bin/add_table.rb /hbase94/t1(3)disable table(4)enable table ...原创 2013-09-26 21:49:42 · 353 阅读 · 0 评论 -
hbase RowCounter 使用
hbase org.apache.hadoop.hbase.mapreduce.RowCounter tablename cf:cq有同学说这个运行出来的结果不对,结果只有几十,而实际上应该有几百万。差别这么大,原因在哪里?查看代码发现 RowCounter的代码片段 scan.setFilter(new FirstKeyOnlyFilter()); if...原创 2013-10-15 16:48:47 · 2008 阅读 · 0 评论 -
Phoneix
https://github.com/forcedotcom/phoenix http://www.vogella.com/articles/MySQLJava/article.html HBase shell :create 't1', {NAME => 'f1', VERSIONS => 5}put 't1', "row1", 'f1:1', "aaa...原创 2013-10-22 11:42:07 · 183 阅读 · 0 评论 -
hbase bulk多family,锁住region
HBase在bulk 多family的数据时,会获得整个region的写锁 // we need writeLock for multi-family bulk load startBulkRegionOperation(hasMultipleColumnFamilies(familyPaths)); multi-CF bulk load is not ato...原创 2013-10-29 15:14:01 · 140 阅读 · 0 评论 -
HBase Create Table
基于HBase trunk代码http://svn.apache.org/repos/asf/hbase/trunk,Revision: 1431176 Create table 的过程,Create table时 只有一个region 的assign 过程。 图示 Client ...原创 2013-01-10 15:50:43 · 364 阅读 · 0 评论 -
HBase HDFS 的检验
对于0.94版本来说,有几个地方会发生检验(1)HFile (HRegionServer里面)(2)FSInputChecker (DFSClient里面) DFSClient : 非本地读取,通过DataNode读取,RemoteBlockReaderDisk -> DataNode -> DFSClient(RemoteBlockReader)...原创 2012-09-24 14:04:11 · 139 阅读 · 0 评论 -
hbase hbck
https://issues.apache.org/jira/browse/HBASE-5128 https://github.com/jmhsieh/hbase-repair-scripts HBASE-5128之前版本的HBCK:检查master、regionserver内存中的状态以及hdfs上面数据的状态之间的一致性 (1)获取所有region的信息(r...原创 2012-06-14 19:44:07 · 97 阅读 · 0 评论 -
region split时metascan出现regioninfo为空
最近测试94版本时,出现过多次 HRegionInfo was null or empty in Meta 的异常 WARN org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch META table:java.io.IOE...原创 2012-07-19 22:30:03 · 216 阅读 · 0 评论 -
HBase maxIdleTime
HBaseClient端会建立跟HRegionServer或者HMaster的tcp连接,而这个连接在一定时间内没有请求的话,那么这个连接就会被关闭。如果应用请求比较少,加上跨机房的话,tcp连接的建立会比较耗时,导致请求rt稍高,这个时候可以调整tcp连接的存活时间,参数是client端的 this.maxIdleTime = conf.getInt("hbase.ipc.client....原创 2013-03-29 18:01:59 · 335 阅读 · 0 评论 -
hbase、hadoop checksum相关
support checksums in HBase block cachehttps://issues.apache.org/jira/browse/HBASE-5074 Store data and checksums together in block filehttps://issues.apache.org/jira/browse/HDFS-2699Skip che...原创 2012-07-25 21:16:58 · 292 阅读 · 0 评论 -
DFSClient Packet dfs.write.packet.size
HBase 里面调用DFSOutputStream的方法常用的是:write、sync write会往当前Packet里面写数据,sync会强制生成一个Packet。在DFSClient Packet里面每次都会new 一个 big byte array,size 是65557(more than 64K,data+checksum+head),由于sync会强制生成Packet,对于小k...原创 2012-07-30 20:01:30 · 194 阅读 · 0 评论 -
RPC HBaseServer
HBaseServer:一个请求发送的数据是:数据的长度(int类型,不包括本身) + call id(int类型) + call的内容 (1)Listener 监听连接请求,来了新的Connection,按照round robin方式选择一个Reader,由这个Reader来读取解析这个Connection上面的call。 Reader 数量由ipc.se...原创 2012-11-12 20:28:45 · 87 阅读 · 0 评论 -
HBase如何从Hadoop读取数据,DFSInputStream
HDFS Client的读取流是从DFSInputStream来获得的,外层做了不少包装。从DFSInputStream读取数据有两种方式:(1)seek(long targetPos) + read(byte buf[], int off, int len)(2)read(long position, byte[] buffer, int offset, int length) ...原创 2012-08-08 15:41:46 · 659 阅读 · 0 评论 -
java.net.SocketTimeoutException: 480000 millis timeout hdfs
hdfs集群出现SocketTimeoutException,但是原因不得而知,社区不少issue都提到过,但是就是不懂具体原因。https://issues.apache.org/jira/browse/HDFS-693https://issues.apache.org/jira/browse/HDFS-770https://issues.apache.org/jira/brow...原创 2012-08-13 16:45:34 · 1048 阅读 · 0 评论 -
Server端处理时间很长,Client发生SocketTimeoutException
Client端只有一个put请求,往server端写数据,server端处理时间过长,导致client端SocketTimeoutException 0.94版本 Client端发生异常SocketTimeoutException: 12/11/20 19:03:18 WARN client.HConnectionManager$HConnectionImplementat...原创 2012-11-22 11:37:56 · 1341 阅读 · 0 评论 -
facebook hbase版本目前做的一些重要特性,提升性能
(1)每个regionserver多个HLog,提升写。 社区还没有 https://issues.apache.org/jira/browse/HBASE-5699https://issues.apache.org/jira/browse/HBASE-6981http://svn.apache.org/viewvc?view=revision&revision=14123...原创 2012-11-22 19:36:13 · 141 阅读 · 0 评论 -
hbase split 导致compact abort的日志
2013-06-06 14:58:43,131 INFO org.apache.hadoop.hbase.regionserver.SplitTransaction: Starting split of region TestTable,8WXEKLMO72,1370431726449.974515d502b3876142181e57e3d4a74e.2013-06-06 14:58:43...原创 2013-06-06 16:37:05 · 651 阅读 · 1 评论 -
hbase snapshot
Snapshot: (1) take a snapshot table是在enable状态,那么使用EnabledTableSnapshotHandler table是在disable状态,使用DisabledTableSnapshotHandler,在HMaster端完成所有操作 (2) getCompletedSnapshots 获得已完成的snapshot,正在进行中的被忽略...原创 2013-06-06 16:40:21 · 290 阅读 · 0 评论 -
hbase flush前提: 等待相关事务都完成
DefaultMemStore: @Override public void rollback(Cell cell) { // If the key is in the snapshot, delete it. We should not update // this.size, because that tracks the size of only the ...原创 2016-07-04 16:40:38 · 179 阅读 · 0 评论