- 博客(8)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 Linux proc/%d/stat文件详解
Linux stat文件。也终于弄明白了这一堆堆砌的数字的意思。 [root@localhost ~]# cat /proc/6873/stat 6873 (a.out) R 6723 6873 6723 34819 6873 8388608 77 0 0 0 41958 31 0 0 25 0 3 0 5882654 1409024 56 4294967295 134512640 1
2012-04-18 10:41:09
2191
原创 TaskTracker节点上的HttpServer
在前面的博文：TaskTracker节点的内部设计与实现中，我曾详细的概述了TaskTracker节点中的各个工作组件，而在本文，我将对其内部的Http服务组件展开详细的讨论。 TaskTracker节点的内部Http服务组件主要提供两个功能：1)./logtask，获取某一个Task的执行日志；2)./mapOutput，获取某一个Task的map输出数据。对于用户来说，Http
2012-04-17 21:43:05
1674
6
转载 linux内存中buffer与cache的区别
因为在一次面试中有人提到，在此引用他人整理好的文章做下详细说明，以供学习。============================================================== free 命令相对于top 提供了更简洁的查看系统内存使用情况： $ free total used free shared buffe
2012-04-16 20:54:41
1145
转载 Hadoop平台优化综述
1. 概述随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要几个：（1） Namenode/jobtracker单点故障。 Hadoop采用的是master/s
2012-04-14 21:15:22
1545
原创 TaskTracker节点上的内存管理器
Hadoop平台的最大优势就是充分地利用了廉价的PC机，这也就使得集群中的工作节点存在一个重要的问题——节点所在的PC机内存资源有限(这里所说的工作节点指的是TaskTracker节点)，执行任务时常常出现内存不够的情况，如：堆溢出错误；同时，该PC机也可能部署了其它集群的工作节点。针对这个问题，Hadoop专门在TaskTracker节点内部设计了一个后台线程——任务内存管理器(TaskMemo
2012-04-10 22:24:00
2322
原创 TaskTracker节点的内部设计与实现
众所周知，Hadoop采用master-slave的架构设计来实现Map-Reduce框架，它的JobTracker节点作为主控节点来管理和调度用户提交的作业，TaskTracker节点作为工作节点来负责执行JobTracker节点分配的Map/Reduce任务。整个集群由一个JobTracker节点和若干个TaskTracker节点组成，当然，JobTracker节点也负责对TaskTracke
2012-04-08 11:28:31
3223
2
原创 Job的任务执行流程之TaskCleanup
任何一个作业在Hadoop集群中执行主要包括四个阶段：setup、map、reduce、cleanup，但在这四个阶段都出现任务实例在TaskTracker节点执行失败的情况。当一个任务实例在TaskTracker节点的JVM中执行时除了成功执行意外，还有可能出现一些异常情况：1).在JVM中执行失败；2).JVM进程被操作系统stop；3).任务实例被JobTracker节点要求kill；这些异
2012-04-05 22:08:13
2978
原创 Job的任务执行流程之JobCleanup阶段
JobTracker节点给TaskTracker节点分配作业任务时是有优先级顺序的，JobTracker节点总是优先分配一个作业的辅助任务，然后在分配作业的正式任务。其中，作业的辅助任务包括：JobSetup、JobCleanup、TaskCleanup三种类型的任务，正式任务包括：Map、Reduce两种任务。当JobTracker节点为一个TaskTracker节点分配了辅助任务的时候就不会为
2012-04-04 20:28:45
2211
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人