- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop 4.1.0 cdh4读文件源码分析
上篇文章分析了hadoop写文件的流程，既然明白了文件是怎么写入的，再来理解读就顺畅一些了。 同样的，本文主要探讨客户端的实现，同样的，我依然推荐读一下http://www.cnblogs.com/duguguiyu/archive/2009/02/22/1396034.html，读文件的大致流程如下：不论是文件读取，还是文件的写入，主控服务器扮演的都是中介的角色。客户端把自己的需
2013-02-16 23:40:32
2570
1
原创 Hadoop 2.1.0-cdh4写文件源码分析
本文将剖析写入hadoop的java接口是如何实现的写入文件的。本文不会重点剖析namenode和datanode段是如何处理，而是专注在客户端的处理上。 背景知识：简单介绍写文件client-namenode-datanode流程（单纯了解hadoop此文足矣。。。）：http://www.cnblogs.com/duguguiyu/archive/2009/02/22/1396034.
2013-02-10 17:29:37
2820
1
原创 如何设置hadoop hbase的Log Appender
要想很好的监控hadoop集群的状态，hadoop打印的log是很重要的。我们的思路是使用部门研发的log appender将hadoop的数据append到我们自己的central logging数据库中（其实就是存在hbase中）。说起来简单，实际操作起来也花了一天多的时间，下面记录下整个过程。首先要明确hadoop使用的log机制。hadoop使用了slf4j,log
2013-02-06 20:02:15
5337
2
原创 hbase cookbook 笔记
关于hbasetable 迁移：http://blog.csdn.net/jingling_zy/article/details/7554676需要注意 被拷贝表的region个数等于mapper的个数 如果找到最热的region：hbase cookbook ：page 174Hot region—write diagnosisAs the data keeps grow
2013-02-06 18:45:41
1113
原创 hadoop 0.1.0版本namenode代码分析
在对hbase有了一点了解后最近开始学习hadoop的相关源码，首先看了下某高人的hadoop源码分析系列http://caibinbupt.iteye.com/blog/monthblog/2008-11，看了三十几篇停了，有些看不懂，虽然代码解释的比较细但类实在太多，想一下子理清思路比较难。果断使用学习hbase时的方法，把hadoop最原始的化石版本0.1.0搞来看看，本文将介绍nameno
2013-02-04 23:29:04
1183
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人