Hadoop源码分析之Id.java

原创 2013年12月03日 15:46:10

ID.java  接口, implements WritableComparable<ID>  是 jobId taskId TaskAttemptID的基类


JobId.java  

 * jobid是job的唯一不变的代表。jobid包括两部分,第一部分代表jobtracker的唯一,对于集群安装来说,这个字符串是
 * jobtracker的开始时间 对于本地设置来说,他就是本地
 * jobid的第二部分是job 号。
 * 例如 如下 代表 200707121733开始的jobtracker的第三个job
 * An example JobID is : 
 * <code>job_200707121733_0003</code> ,


TaskId.java

 taskId 代表一个map或reduce 任务的唯一。每一个taskid包含多种执行map 或reduce的尝试,
 * 每一个都是根据 TaskAttemptID唯一确定的。
 * TaskID包括三个部分:第一部分是这个task属于的job的jobId。第二部分是‘m‘或者’r‘
 * 代表这个任务是map任务还是reduce任务,第三部分是 task号
 * 例如:task_200707121733_0003_m_000005


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

ID3源码分析

  • 2017-05-21 23:27
  • 212KB
  • 下载

spring-data-mongo 关于_id 字段解析源码分析

spring-data-mongo

viewpager布局复用中FragmentPagerAdapter的坑,源码分析,控件id的一些思考

一个fragment的布局复用,里面是tablayout+viewpager,viewpager加载不同adapter,adapter继承FragmentPageAdapter。运行后有问题,先初始化...

Hadoop源码解析之java动态代理机制

在前一篇文章Hadoop源码解析之YARN客户端作业提交流程中,介绍了创建客户端代理阶段用到Java中的动态代理:  protected void serviceStart() throws Exce...

把hadoop源码导入到eclpse的java工程

在eclipse中阅读源码非常方便,利于我们平时的学习,下面讲述如何把hadoop源码导入到eclpse的java工程中。 解压源码 首先,我们在windows下使用winrar把hadoop-1.1...

hadoop源码解析—— conf包中Configuration.java解析(一)

package org.apache.hadoop.conf; import java.io.BufferedInputStream; import java.io.DataInput; impor...

Hadoop RPC的机制分析和源码解读

Hadoop RPC是Hadoop的一个重要部分,提供分布式环境下的对象调用功能,源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码,只是在配置项上面有所...
  • xxjin
  • xxjin
  • 2013-10-11 17:08
  • 587

Hadoop源码分析:HDFS数据读写流量控制(DataTransferThrottler类)

DataTransferThrottler类用于在Datanode读写数据时控制数据传输速率。这个类是线程安全的,可以被多个线程共享使用。使用方式是先构造DataTransferThrottler对象...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)