hadoop中mapreduce程序的几种提交运行模式

本地运行模式

1. 在windows的eclipse里买能直接运行main方法，就会将job提交给本地执行其localjobrunner执行
   

   输入输出数据可以放在本度路径下（c：/file/src）
   输入输出数据可以也放在hdfs中（hdfs：//muxiaocao：9000/file/src）

2. 在linux打eclise里面直接运行main方法，但是不要添加yarn相关的配置，也会提交给localjobrunner执行
   输入输出数据可以放在本度路径下（/home/muxiaocao/file/src）
   输入输出数据也可以放在hdfs中（hdfs：//muxiaocao：9000/file/src）

具体代码

mapper

package com.hadoop.muxiaocao.mapreduce;

import java.io.IOException;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>{

    @Override
    protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context)
            throws IOException, InterruptedException {
        String line = value.toString();
        String[] words = StringUtils.split(line, " ");
        for (String word : words) {
            context.write(new Text(word),new LongWritable(1L) );
        }
    }


}

reducer

package com.hadoop.muxiaocao.mapreduce;

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable>{

    @Override
    protected void reduce(Text key, Iterable<LongWritable> values,
            Reducer<Text, LongWritable, Text, LongWritable>.Context context) throws IOException, InterruptedException {

        long count = 0;
        for (LongWritable value : values) {
            count += value.get();
        }
        context.write(key, new LongWritable(count));
    }


}

jobrunner

package com.hadoop.muxiaocao.mapreduce;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class MyJobRunner {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // 得到job对象
        Job myWcJob = Job.getInstance(new Configuration());
        // 设置可运行的class对象，hadoop利用这个类来查找包行它的jar文件，进而找到相关的jar文件
        myWcJob.setJarByClass(MyJobRunner.class);
        // 设置map 和 reducer的class对象，hadoop以此来找到map和reducer中的相关重写方法，实现本地逻辑
        myWcJob.setMapperClass(MyMapper.class);
        myWcJob.setReducerClass(MyReducer.class);
        // 设置输出的key和value类型
        myWcJob.setOutputKeyClass(Text.class);
        myWcJob.setOutputValueClass(LongWritable.class);

        // 设置输入输出文件。输出结果路径如果已经存在，hadoop就会报错并拒绝运行作业，以此来防止数据的丢失
        //FileInputFormat.addInputPath(myWcJob, new Path("/home/muxiaocao/myFile/srcfile/"));
        FileInputFormat.addInputPath(myWcJob, new Path("hdfs://muxiaocao:9000/"));
        FileOutputFormat.setOutputPath(myWcJob, new Path("/home/muxiaocao/myFile/output1/"));

        // 等待运行作业。hadoop yarn中的resourcemanager有一个作业队列，如果作业较多就会等待
        // 参数如果是true表示需要把运行过程打印到控制台
        myWcJob.waitForCompletion(true);
    }
}

集群运行模式

1. 将工程打成jar包，上传到服务器，然后用hadoop命令提交hadoop jar wc.jar com.nanjing.muxiaocao.hadoop.wordcount

2. 在linux的eclipse中，直接运行main方法，也可以提交到集群中运行，但是，必须采取一下措施：

   1. 在工程src目录下加入mapper-site.xml 和 yarn-site.xml配置文件
   2. 将工程打成jar包（wc.jar），同时在main方法中添加爱一个conf打配置参数
      conf.set（"mapreduce.job.jar","wc.jar"）
   3. 在windows的eclipse中直接诶运行main方法，也可以提交给集群中运行，但是因为平台不兼容，需要做很多设置

   要在windows中存放一份hadoop的安装包（解压好的）
   要将其中的lib和bin目录替换成根据你的windows版本重新编译出的文件
   再要配置系统环境变量 HADOOP_HOME 和 PATH
   修改YarnRunner这个类的源码

hadoop源码分析如何实现模式自动匹配

• 对于本地和集群两种模式，最大的区别就在于集群模式中的main方法里，多了一个configuer配置信息，即
  conf.set（"mapreduce.job.jar","wc.jar"）
• 另外集群模式下，也会配有mapper-site.xml 和 yarn-site.xml配置文件，hadoop源码中就是根据这些配置进行自动模式识别的。

关键源码如下

private void initialize(InetSocketAddress jobTrackAddr, Configuration conf)
      throws IOException {

    synchronized (frameworkLoader) {
      // 通过对frameworkLoader遍历，来分别看采用哪种模式
      // ClientProtocolProvider总共就两种LocalClientProtocolProvider和YarnClientProtocolProvider
      for (ClientProtocolProvider provider : frameworkLoader) {
        LOG.debug("Trying ClientProtocolProvider : "
            + provider.getClass().getName());
        ClientProtocol clientProtocol = null; 
        try {
          if (jobTrackAddr == null) {
            // 尝试创建模式
            clientProtocol = provider.create(conf);
          } else {
            clientProtocol = provider.create(jobTrackAddr, conf);
          }

          if (clientProtocol != null) {
            clientProtocolProvider = provider;
            client = clientProtocol;
            LOG.debug("Picked " + provider.getClass().getName()
                + " as the ClientProtocolProvider");
            break;
          }
          else {
            LOG.debug("Cannot pick " + provider.getClass().getName()
                + " as the ClientProtocolProvider - returned null protocol");
          }
        } 
        catch (Exception e) {
          LOG.info("Failed to use " + provider.getClass().getName()
              + " due to error: ", e);
        }
      }
    }

    if (null == clientProtocolProvider || null == client) {
      throw new IOException(
          "Cannot initialize Cluster. Please check your configuration for "
              + MRConfig.FRAMEWORK_NAME
              + " and the correspond server addresses.");
    }
  }

下面是两个ClientProtocolProvider的create方法

// LocalClientProtocolProvider的create方法
@Override
  public ClientProtocol create(Configuration conf) throws IOException {
    // 通过查看配置文件信息，来选择是否创建
    String framework =
        conf.get(MRConfig.FRAMEWORK_NAME, MRConfig.LOCAL_FRAMEWORK_NAME);
    if (!MRConfig.LOCAL_FRAMEWORK_NAME.equals(framework)) {
      return null;
    }
    conf.setInt(JobContext.NUM_MAPS, 1);

    return new LocalJobRunner(conf);
  }
  //YarnClientProtocolProvider的create方法
  @Override
  public ClientProtocol create(Configuration conf) throws IOException {
    if (MRConfig.YARN_FRAMEWORK_NAME.equals(conf.get(MRConfig.FRAMEWORK_NAME))) {
      return new YARNRunner(conf);
    }
    return null;
  }

---

注意：转载请说明，来自转自itboy-木小草，尊重原创，尊重技术。