tbdp6411的专栏

map阶段优化参数：io.sort.mb（default 100）当map task开始运算，并产生中间数据时，其产生的中间结果并非直接就简单的写入磁盘。而是会利用到了内存buffer来进行已经产生的部分结果的缓存，并在内存buffer中进行一些预排序来优化整个map的性能。每一个map都会对应存在一个内存buffer,map会将已经产生的部分结果先写入到该

http://pan.baidu.com/s/1kT0usSZ

1.开发环境：Windows 2008 64bitJava 1.6.0_30MyEclipse 6.5环境部署见：http://www.linuxidc.com/Linux/2014-02/96528.htm2.Hadoop集群环境：Oracle Linux Enterprise 5.9Java 1.6.0_18Hadoop:hado

InputFormat是MapReduce中一个很常用的概念，它在程序的运行中到底起到了什么作用呢？InputFormat其实是一个接口，包含了两个方法：public interface InputFormat {InputSplit[]getSplits(JobConf job, int numSplits) throws IOException;RecordReader

摘要：MapReduce是Hadoop的又一核心模块，从MapReduce是什么，MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。关键词：Hadoop  MapReduce    分布式处理面对大数据，大数据的存储和处理，就好比一个人的左右手，显得尤为重要。Hadoop比较适合解决大数据问题，很大程度上依赖其大数据存储系统，即HDFS和大数据

首先，我们来看如下的一张图：作业的整个运行过程分为5个步骤：1、作业的提交和初始化。用户提交作业后，由JobClient实例将作业相关信息（jar包、配置文件xml、分片元信息等）上传到HDFS。然后，JobClient通过RPC通知JobTracker。JobTracker接收到新作业请求后，由作业调度模块对作业进行初始化，为作业创建一个JobInProg

1、概述MapReduce框架中的master/slave心跳机制是整个集群运作的基础，是沟通TaskTracker和JobTracker的桥梁。TaskTracker周期性地调用心跳RPC函数，汇报节点和任务运行状态信息。MapReduce框架中通过心跳机制可以实现给TaskTracker分配任务、使JobTracker能够及时获取各个节点的资源使用情况和任务运行状态信息、判断TaskT