- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 taskTracker请求任务执行任务的过程
1.此次仅说明一个task任务的执行流程 task是由taskTracker负责执行的，在taskTracker中，有两个控件：TaskLauncher。一个TaskLauncher为map的TaskLauncher，一个为reduce的TaskLauncher。这两个控件在taskTrack初始化的时候也初始化。TaskLauncher内部有一个tasksToLaunch的队列，这个队列是
2013-11-12 14:51:15
1256
原创 hadoop 客户端写数据的过程
1.先描述一下写。在客户端往hdfs写数据的时候（应该包括append），数据是以包为单位发生到hdfs的datanode上的。包会先放到一个dataQueue中去，有一个DataStreamer服务会查看这个dataQueue是否有包，并且坚持这个包是不是块（一个hdfs块，默认的为64M）。如果有包了会先向namenode申请一个block（这个block为新分配的块，其中包括datanode
2013-11-05 16:47:56
1130
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人