关闭

hadoop源码研究(2)

标签: hadoop源码
461人阅读 评论(0) 收藏 举报
分类:

Job继承自JobContext,提供了一系列的set方法,用于设置Job的一些属性(Job更新属性,JobContext读属性),同时,Job还提供了一些对Job进行控制的方法,如下:

l           mapProgress:map的进度(0—1.0);

l           reduceProgress:reduce的进度(0—1.0);

l           isComplete:作业是否已经完成;

l           isSuccessful:作业是否成功;

l           killJob:结束一个在运行中的作业;

l           getTaskCompletionEvents:得到任务完成的应答(成功/失败);

l           killTask:结束某一个任务;

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

《Hadoop 2.X HDFS源码剖析》读书笔记(Client)

1. DSFClient实现对于管理文件/目录以及管理与配置HDFS系统这两个功能,DFSClient并不需要与Datanode交互,而是直接通过远程接口ClientProtocol调用Namenode提供的服务即可。而对于文件读写功能,DFSClient除了需要调用ClientProtocol与N...
  • u013980127
  • u013980127
  • 2016-11-05 23:36
  • 2538

Hadoop-2.4.1源码分析--MapReduce作业(job)提交源码跟踪

首先,在自己写的MR程序中通过org.apache.hadoop.mapreduce.Job来创建Job。配置好之后通过waitForCompletion()方法来提交Job。Hadoop版本是2.4.1。        进入waitForComple...
  • u010010428
  • u010010428
  • 2016-05-15 14:01
  • 1618

hadoop深入研究:(一)——hdfs介绍

转载请注明出处:http://blog.csdn.net/lastsweetop/article/details/8992505hdfs设计原则1.非常大的文件:这里的非常大是指几百MB,GB,TB.雅虎的hadoop集群已经可以存储PB级别的数据2.流式数据访问:基于一次写,多次读。3.商用硬件:...
  • lastsweetop
  • lastsweetop
  • 2013-05-31 15:31
  • 13372

【Hadoop源码研究】之Configuration

Congfiguration类位于hadoop-common工程下的org.apache.hadoop.conf包下,它是Hadoop系统的配置文件类,如core-default.xml, hdfs-site.xml都是有本类进行读取和配置的,它保存了整个Hadoop运行环境的上下文。研究本类对于了...
  • zhoubangtao
  • zhoubangtao
  • 2014-05-16 20:22
  • 243

Hadoop源码阅读之三个核心模块代码组织情况(一)

(一)Hadoop下三大核心项目说明: 1.Common----Hadoop项目的core部分更名为Hadoop Common。Common为Hadoop的其他项目提供了一些常用的工具,主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileS...
  • zhouhong1026
  • zhouhong1026
  • 2014-02-24 16:54
  • 2827

国外、国内Hadoop的应用现状

国外、国内Hadoop的应用现状 2015-04-23 大数据 摘要:Hadoop是一个开源的高效云计算基础架构平台,其不仅仅在云计算领域用途广泛,还可以支撑搜索引擎服务,作为搜索引擎底层的基础架构系统,同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐...
  • lileizhang
  • lileizhang
  • 2015-07-03 15:05
  • 1564

什么是HADOOP、产生背景、在大数据、云计算中的位置和关系、国内外HADOOP应用案例介绍、就业方向、生态圈以及各组成部分的简介(学习资料中的文档材料)

1. HADOOP背景介绍1. 1.1 什么是HADOOP1.        HADOOP是apache旗下的一套开源软件平台2.       ...
  • toto1297488504
  • toto1297488504
  • 2017-05-26 20:30
  • 1114

hadoop2.6.1源码编译

hadoop2.6.1源码编译
  • linlinv3
  • linlinv3
  • 2015-10-23 10:40
  • 6051

hadoop2.4.0源码编译

1. 前言 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下简单的提炼。 第一次编译要求能够访问互联网,Hadoop的编译依赖非常多的东西,一...
  • jiangzeyun
  • jiangzeyun
  • 2014-06-10 22:38
  • 9337

Hadoop源代码分析(完整图文版) part 1

Hadoop源代码分析(一) 关键字: 分布式 云计算  Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。  GoogleCluster: http://research.google.com/...
  • ssrc0604hx
  • ssrc0604hx
  • 2014-11-26 15:39
  • 5320
    个人资料
    • 访问:348366次
    • 积分:3926
    • 等级:
    • 排名:第9384名
    • 原创:93篇
    • 转载:138篇
    • 译文:2篇
    • 评论:56条
    最新评论