2014年04月_wangqiaoshi

06月 04月 03月 02月 01月

原创 flume MemoryChannel 源码解析

1.先分析三个LinkedBlockingDeque类型的takeList,putList,queueputList: 存放的是来自source生产的数据,通过调用doPut(Event event)方法,它是如何到queue的,在每次执行doCommit的时候，会循环放到queue，其实doCommit()放法只做了putlist交给queue, synchronized(q

2014-04-22 13:49:58 981 1

原创 hive 整合 hbase

因为hbase不能进行复杂的查询，两表的join

2014-04-09 19:48:05 187

原创 hdfs DFSClient 源码分析2

这篇文章其实不是专门来讲DFSClient源码的,就光这个类就近4000行代码，不用说牵扯到其他类的代码，围绕着以下错误展开对DFSClient分析由于最近flume1.4.0报04 Apr 2014 07:11:53,111 WARN [ResponseProcessor for block blk_326610323152553165_1164644] (org.apache.had

2014-04-05 14:20:38 972

转载在大并发写时，HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决

异常日志：2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000 millis

2014-04-03 23:23:08 1066

HDFS读取文件的重要概念HDFS一个文件由多个block构成。HDFS在进行block读写的时候是以packet(默认每个packet为64K)为单位进行的。每一个packet由若干个chunk（默认512Byte）组成。Chunk是进行数据校验的基本单位，对每一个chunk生成一个校验和(默认4Byte)并将校验和进行存储。在读取一个block的时候，数据传输的基本单位是packet，每个pa

2014-04-03 22:52:31 501

原创 hadoop dfs client写文件源码分析

HdfsConfiguration会默认加载hdfs-default.xml,hdfs-site.xml文件public class HdfsConfiguration extends Configuration { static { addDeprecatedKeys(); // adds the default resources Configuration.addDef

2014-04-03 21:32:24 136