- 博客(5)
- 资源 (1)
- 收藏
- 关注
原创 hadoop 4.1.0 cdh4读文件源码分析
上篇文章分析了hadoop写文件的流程,既然明白了文件是怎么写入的,再来理解读就顺畅一些了。 同样的,本文主要探讨客户端的实现,同样的,我依然推荐读一下http://www.cnblogs.com/duguguiyu/archive/2009/02/22/1396034.html,读文件的大致流程如下: 不论是文件读取,还是文件的写入,主控服务器扮演的都是中介的角色。客户端把自己的需
2013-02-16 23:40:32 2622 1
原创 Hadoop 2.1.0-cdh4写文件源码分析
本文将剖析写入hadoop的java接口是如何实现的写入文件的。本文不会重点剖析namenode和datanode段是如何处理,而是专注在客户端的处理上。 背景知识:简单介绍写文件client-namenode-datanode流程(单纯了解hadoop此文足矣。。。):http://www.cnblogs.com/duguguiyu/archive/2009/02/22/1396034.
2013-02-10 17:29:37 2837 1
原创 如何设置hadoop hbase的Log Appender
要想很好的监控hadoop集群的状态,hadoop打印的log是很重要的。我们的思路是使用部门研发的log appender将hadoop的数据append到我们自己的central logging数据库中(其实就是存在hbase中)。 说起来简单,实际操作起来也花了一天多的时间,下面记录下整个过程。 首先要明确hadoop使用的log机制。hadoop使用了slf4j,log
2013-02-06 20:02:15 5377 2
原创 hbase cookbook 笔记
关于hbasetable 迁移: http://blog.csdn.net/jingling_zy/article/details/7554676 需要注意 被拷贝表的region个数等于mapper的个数 如果找到最热的region:hbase cookbook :page 174 Hot region—write diagnosis As the data keeps grow
2013-02-06 18:45:41 1130
原创 hadoop 0.1.0版本namenode代码分析
在对hbase有了一点了解后最近开始学习hadoop的相关源码,首先看了下某高人的hadoop源码分析系列http://caibinbupt.iteye.com/blog/monthblog/2008-11,看了三十几篇停了,有些看不懂,虽然代码解释的比较细但类实在太多,想一下子理清思路比较难。果断使用学习hbase时的方法,把hadoop最原始的化石版本0.1.0搞来看看,本文将介绍nameno
2013-02-04 23:29:04 1195
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人