inputSplit.java分析

原创 2013年12月03日 15:52:45
/**
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */

package org.apache.hadoop.mapreduce;

import java.io.IOException;

import org.apache.hadoop.mapreduce.InputFormat;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.RecordReader;

/**
 * <code>InputSplit</code> represents the data to be processed by an 
 * individual {@link Mapper}. 
 *代表将要被mapper独自处理的分割文件。
 * <p>Typically, it presents a byte-oriented view on the input and is the 
 * responsibility of {@link RecordReader} of the job to process this and present
 * a record-oriented view.
 * 
 * @see InputFormat
 * @see RecordReader
 */
public abstract class InputSplit {
  /**
   * Get the size of the split, so that the input splits can be sorted by size.
   * 得到分割文件的大小 这样分割文件可以按大小排序
   * @return the number of bytes in the split
   * @throws IOException
   * @throws InterruptedException
   */
  public abstract long getLength() throws IOException, InterruptedException;

  /**
   * Get the list of nodes by name where the data for the split would be local.
   * The locations do not need to be serialized.
   * 获得 分割文件将要本地化哪里的节点列表 ,本地化不需要序列化。
   * @return a new array of the node nodes.
   * @throws IOException
   * @throws InterruptedException
   */
  public abstract 
    String[] getLocations() throws IOException, InterruptedException;
}

时域分析与频域分析

最近在学习数据处理,涉及到时域分析与频域分析的相关知识,其中难点在于时域分析与频域分析的图像对应关系。总结如下: 时域分析与频域分析是对模拟信号的两个观察面。时域分析是以时间轴为坐标表示动态信号的关...
  • LEE18254290736
  • LEE18254290736
  • 2015年12月19日 10:38
  • 8831

DUMP文件分析2:一个最简单的DUMP分析示例

本节开始,我将在示例中给大家讲述基本的DUMP文件分析方法。读者应该对Windows系统比较了解,同时比较熟悉Windbg。 本节的示例非常简单,也非常经典,就是常常会遇到的访问空指针。Window...
  • hustd10
  • hustd10
  • 2016年07月30日 21:53
  • 7550

Android APK 静态分析与动态分析

Android沙盘原理与实现 作者:riusksk(泉哥)[ TSRC ]公布时间:2012-10-15阅读次数:17496评论:1 分享 ...
  • u011354613
  • u011354613
  • 2016年10月25日 09:52
  • 560

情感分析简述

情感分析,我研究了也有半年有余了,ACL Anthology上关于情感分析的论文也基本看过了一遍,但是到目前还没有什么成就的。以下是我为一位同学毕业设计写的情感分析方面的综述,引用的论文基本上是ACL...
  • Jesse_He
  • Jesse_He
  • 2014年05月11日 12:05
  • 1164

3D分析之可见性分析工具

ArcGIS 通过分析功能面的视域来确定不同区域中的可见性。 视域的计算:如果仅有一个观测点,则为可从观测点看到的单元赋值 1,为无法从观测点看到的所有单元赋值 0。 1. Construct...
  • kikitaMoon
  • kikitaMoon
  • 2014年02月11日 11:41
  • 6617

Oracle-表分析和索引分析解读

概述当表没有做分析的时候,Oracle 会使用动态采样来收集统计信息。 获取准确的段对象(表,表分区,索引等)的分析数据,是CBO存在的基石,CBO的机制就是收集尽可能多的对象信息和系统信息,通过对这...
  • yangshangwei
  • yangshangwei
  • 2016年12月01日 23:16
  • 6563

需求分析的步骤

遵循科学的需求分析步骤可以使需求分析工作更高效。需求分析的一般步骤如图2-3所示。 需求涉及的方面有很多。 在功能方面,需求包括系统要做什么,相对于原系统目标系统需要进行哪些修改,目标用户有哪些,...
  • u013800147
  • u013800147
  • 2014年03月25日 18:03
  • 4239

数值分析内容概览及学习总结

关于数值分析这门课程,很多同学感觉学起来十分吃力,所以在此给出数值分析学习内容的概览(国内研究生基本一样)以及作者自己学习时的一些总结,希望对您的学习有所脾益,相互进步。 ...
  • chief_cf
  • chief_cf
  • 2016年01月18日 16:46
  • 1531

情感分析综述

文本情感分析(Sentiment Analysis): 又称意见挖掘,简单而言,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程.最初的情感分析源自前人对带有情感色彩的词语的分析。(右图参...
  • gdp5211314
  • gdp5211314
  • 2013年02月21日 17:07
  • 1630

程序动态分析工具调研

综述本文是对程序动态工具的调研,通对各种动态分析工具的原理、功能、优缺点等方面的调研分析来使读者在使用工具时更有针对性。 作为调研,本文并不过多的涉及工具的细节,主要关注点在于工的原理、功能、优缺点...
  • aneutron
  • aneutron
  • 2015年10月19日 17:03
  • 3149
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:inputSplit.java分析
举报原因:
原因补充:

(最多只允许输入30个字)