hadoop源码分析 jobsplit

原创 2013年12月03日 15:51:43

ClusterMetrics.java类:

 Status information on the current state of the Map-Reduce cluster.

 * Mapreduce集群的当前状态
 * 提供给client如下信息:
 * 集群大小
 * 黑名单和过期的tracker
 * 集群的容量
 * 当前Map reduce占用
 * 当前运行的map reduce 个数

 * job提交的数目


JobSplit.java类:

 * This class groups the fundamental classes associated with
 * reading/writing splits. The split information is divided into
 * two parts based on the consumer of the information. The two
 * parts are the split meta information, and the raw split 
 * information. The first part is consumed by the JobTracker to
 * create the tasks' locality data structures. The second part is
 * used by the maps at runtime to know what to do!
 * These pieces of information are written to two separate files.
 * The metainformation file is slurped by the JobTracker during 
 * job initialization. A map task gets the meta information during
 * the launch and it reads the raw split bytes directly from the 
 * file.
 * 
 * 这个类 分组基础的读 写分片类,分片信息被分割成两个部分,基于数据信息。
 * 第一个部分是 jobtracker消耗来创建任务的本地数据结构。第二部分被maps用来知道要做什么
 * 这些碎片信息被写进两个分割的文件

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

hadoop源码分析

  • 2013-05-05 15:53
  • 4.92MB
  • 下载

Hadoop源码分析

  • 2014-07-20 08:08
  • 5.00MB
  • 下载

Hadoop RPC的机制分析和源码解读

Hadoop RPC是Hadoop的一个重要部分,提供分布式环境下的对象调用功能,源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码,只是在配置项上面有所...
  • xxjin
  • xxjin
  • 2013-10-11 17:08
  • 587

hadoop 源码分析

  • 2013-03-20 09:48
  • 5.99MB
  • 下载

Hadoop源码分析

  • 2015-07-15 11:49
  • 5.99MB
  • 下载

Hadoop源码分析:HDFS数据读写流量控制(DataTransferThrottler类)

DataTransferThrottler类用于在Datanode读写数据时控制数据传输速率。这个类是线程安全的,可以被多个线程共享使用。使用方式是先构造DataTransferThrottler对象...

hadoop源码分析完整版

  • 2017-09-06 16:38
  • 5.99MB
  • 下载

Hadoop0.20.0源码分析

  • 2011-07-18 14:03
  • 147KB
  • 下载

Hadoop源码分析- RPC client端篇

首先摘录别人的Rpc 的一些的总结     1. Client 与 server 端通信采用Writable 序列化形式.因此hadoop中信息的传递 必须继承自writable 接口,writab...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)