- 博客(6)
- 收藏
- 关注
RSS订阅原创 集群工具chukwa和ganglia
<br /><br />众所周知，hadoop是运行在分布式的集群环境下，同是是许多用户或者组共享的集群，因此任意时刻都会有很多用户来访问NN或者JT，对分布式文件系统或者mapreduce进行操作，使用集群下的机器来完成他们的存储和计算工作。当使用hadoop的用户越来越多时，就会使得集群运维人员很难客观去分析集群当前状况和趋势。比如NN的内存会不会在某天不知晓的情况下发生内存溢出，因此就需要用数据来得出hadoop当前的运行状况。<br />Chukwa就是利用了集群中的几个进程输出的日志，如NN,DN
2011-01-23 00:32:00
3639
1
原创 DataNode的分析
<br /><br />相对NN,DN主要就是对数据块的副本进行操作，如增删改等操作，管理DN中的这些副本，另外提供对副本的接口给client,NN,其他的DN。<br />startDataNode()方法：<br />首先从配置文件中读取与DN 相关的配置参数。<br />与NN 进行握手。<br />根据参数配置好的数据块存放的文件目录，为每个目录建立起DataStorage，然后调用该类的recoverTransitionRead方法去读取存储元信息，锁住目录，然后转变文件状态。做一些格式化，恢
2011-01-15 22:39:00
3143
原创 datanode中的类结构图
之前大致把DN中的主要类代码看了一下，框架基本了解，刚才用VS简单的把类图模块画了一下，整理自已的思路。涉及比较多的是副本的传输和副本的管理二大块内容。
2011-01-14 20:28:00
1980
原创 datanode进程的分析(一)
数据存储结点主类。首先启动一系列服务端口，如接收数据的端口，web server 访问端口等。然后调用startDataNode() 函数去做以下事情。启动DN的数据接收服务守护线程DataXceiverServer。循环判断是否需要更新，如参数发生变化了，则需要重新初始化DN。然后再发送心跳，发送最近接收的block，报告DN当前的block列表给NN。报告DN当前的所有block列表的时间间隔相对要长很多，默认是1个小时报告一次。 run()dataXceiverServer.start();whi
2011-01-08 13:20:00
2593
原创 hdfs中的NameNode,SecondaryNameNode,BackupNode
NameNode:暂且叫它为元数据结点。它实现了NamenodeProtocols 中的接口，而该接口分别有三个父类：ClientProtocol,与客户端的通信。DatanodeProtocol,与DN 的通信。NamenodeProtocol,与BN ，SNN 的通信。主要有二大功能：1. 文件元信息的管理，由FSNamesystem类完成，主要提供了文件的相关操作，将文件信息保存到内存中，同时将操作日志保存到日志文件中。2. 数据块的管理，由BlockManager 类完成，
2011-01-03 21:25:00
3930
原创 2010年总结
2010年是我从学校到公司的第一个年头，7月份离开学校踏入工作，开始有很多的不适应，其间心理的苦唯有自已知道，但是不管如何，也算熬过了2010年，收获谈不上，算是体验生活吧。架构设计 前不久的一个小项目，让我感受到了架构设计的重要性，tim里面有句话：架构师要有完美心态，今年有很多感悟，如果没有这种心态，始终需要有人为设计缺陷买单 。我就为缺陷买了一次单，教训够深的，错误连连不断的来，太可怕了。编程语言 来到公司，发现java牛人多，从他们身上学到了很多，同时看到自已很
2011-01-01 11:36:00
2315
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人