2012年03月_伍涛

原创 HDFS的recoverLease和recoverBlock的过程分析

最近需要搞一下Lease，分析一下recoverLease的过程，顺带把recoverBlock的过程分析一下。一、 recoverLeaserecoverLease是恢复租约，我理解为释放文件之前的租约，close文件，报告namenode。recoverLease有两条路径去调用1. DistributedFileSystem.create -> DFSClient.c

2012-03-22 22:00:55 5806

翻译 Append在HDFS中的发展历程

File Appends in HDFSby Tom WhiteJuly 17, 20092 commentsTweetThere is some confusion about the state of the file append operation in HDFS. It was in, now it’s out. Why was it re

2012-03-16 18:03:28 3126

原创 HDFS patch前后Ganglia看到running processes变化的分析

Ganglia running processes是怎么算出来的？ganglia是通过 cat /proc/loadavg获得running processes的。可得到如下值：0.00 0.28 0.61 1/591 2993。其中，1是running process，591是total process。为了追踪ganglia图上突然出现的14个running processes

2012-03-16 11:18:19 2748

转载揭秘java对象真正占用的内存空间 - Java Objects Memory Structure

SATURDAY, DECEMBER 13, 2008Java Objects Memory StructureUpdate (December 18th, 2008): I've posted here an experimental library that implements Sizeof for Java.One thing about Jav

2012-03-13 14:08:55 2587

原创关于Fusion IO

http://www.fusionio.comhttp://en.wikipedia.org/wiki/Fusion-io ibm 曾经实现100万 iopshttp://en.wikipedia.org/wiki/Steve_Wozniak 苹果创始人，现在fusionIO 为首席科学家http://wikibon.org/wiki/v/Transcription:_Fusi

2012-03-09 17:51:45 2451

转载关于Apache Hadoop 1.0

http://www.dw4e.com/?p=88本文译自cloudera公司Charles Zedlewski写的一篇文章《An update on Apache Hadoop 1.0》关于最新发布的Apache Hadoop V1.0，一些用户或客户会问：这个版本的功能有哪些？基于哪个版本？后续的版本是什么？要解释这一点，我们应该从Apache项目发布的一些基本

2012-03-09 16:50:51 2565

原创在大并发写时，HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决

异常日志：2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000 millis

2012-03-09 15:03:38 20749 1

zhaokunwu的专栏