hadoop本地运行与集群运行

开发环境：

　　windows10+伪分布式（虚拟机组成的集群）+IDEA(不需要装插件)

介绍：

　　本地开发，本地debug,不需要启动集群，不需要在集群启动hdfs yarn

需要准备什么：

　　1/配置win10的环境，path设置为hadoop/bin目录

　　2/将hadoop在win10系统下编译，替换hadoop/bin，hadoop/lib目录为对应的win10编译版本

本地运行详细步骤：

　　1/在run configurations里设置program arguments,即设置main方法的默认参数

　　2/直接运行main方法

public class WordCountDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();

        //是否运行为本地模式，就是看这个参数值是否为local，默认就是local
		/*conf.set("mapreduce.framework.name", "local");*/

        //本地模式运行mr程序时，输入输出的数据可以在本地，也可以在hdfs上
        //到底在哪里，就看以下两行配置你用哪行，默认就是file:///
		/*conf.set("fs.defaultFS", "hdfs://mini1:9000/");*/
		/*conf.set("fs.defaultFS", "file:///");*/



        //运行集群模式，就是把程序提交到yarn中去运行
        //要想运行为集群模式，以下3个参数要指定为集群上的值
        //如果是把程序打包成jar,hadoop jar运行，不需要写下面，因为hadoop jar脚本自动把集群中配置好的配置文件加载给该程序
		/*conf.set("mapreduce.framework.name", "yarn");
		conf.set("yarn.resourcemanager.hostname", "mini1");
		conf.set("fs.defaultFS", "hdfs://mini1:9000/");*/
        Job job = Job.getInstance(conf);
        //告诉yarn本程序的jar包在哪里
		/*job.setJar("/home/hadoop/wordcount.jar");*/
        //指定本程序的jar包所在的本地路径（获得类运行的目录）
        job.setJarByClass(WordCountDriver.class);

        //指定本业务job要使用的mapper/Reducer业务类
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);

        //指定mapper输出数据的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //指定最终输出的数据的kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //指定job的输入原始文件所在目录
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        //指定job的输出结果所在目录
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        //将job中配置的相关参数，以及job所用的java类所在的jar包，提交给yarn去运行
		/*job.submit();*/
        //true把反馈信息打印出来
        boolean res = job.waitForCompletion(true);
        System.exit(res?0:1);
    }
}

 

报错1：

　　Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/util/StopWatch

解决1：

　　1/把hadoop-client /hadoop-common从2.6.0改为2.7.0

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.0</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.7.0</version>
</dependency>

  　　2/可能是因为我本地的hadoop是windows下编译的2.6.4版本，把该版本的所有jar包放在一个lib里，并且放在最上面　　否则会报错Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V

 本地运行模式

（1）mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行

（2）而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上

（3）怎样实现本地运行？写一个程序，不要带集群的配置文件（本质是你的mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数）

（4）本地模式非常便于进行业务逻辑的debug，只要在eclipse中打断点即可

　　　　如果在windows下想运行本地模式来测试程序逻辑，需要在windows中配置环境变量：

　　　　％HADOOP_HOME％  =  d:/hadoop-2.6.1

　　　　%PATH% =  ％HADOOP_HOME％\bin

　　　　并且要将d:/hadoop-2.6.1的lib和bin目录替换成windows平台编译的版本

================mac版本========================

idea+maven环境编写wordcount程序（运行在本地，没有用到hadoop集群，适合做调试）https://www.cnblogs.com/davidgu/p/6140927.html

1、看他的main方法怎么配置的

2、看他的运行参数怎么配置的

集群运行模式

（1）将mapreduce程序提交给yarn集群resourcemanager，分发到很多的节点上并发执行

（2）处理的数据和输出结果应该位于hdfs文件系统

（3）提交集群的三种方法：

　　　　A、将程序打成JAR包，然后在集群的任意一个节点上用hadoop命令启动

    　　　　 $ hadoop jar wordcount.jar cn.itcast.bigdata.mrsimple.WordCountDriver inputpath outputpath

　　　　　  idea的hadooop的wordcount打成jar包放到linux执行步骤：  https://blog.csdn.net/Andeve/article/details/78606461

　　　　　  main方法里不需要写mapreduce.frameword.name=yarn以及yarn的两个基本配置

　　　　　　整体思路参考  https://songlee24.github.io/2015/07/29/mapreduce-word-count/

　　　　B、直接在linux的eclipse中运行main方法，跑在本机的hadoop上/远程hadoop集群上

　　　　　（项目中要带参数：mapreduce.framework.name=yarn以及yarn的两个基本配置）

　　　　　　参考 ：   idea向hadoop集群提交mapreduce作业 https://blog.csdn.net/shirukai/article/details/81021872   

　　　　　　　　　　 的第六步导出jar，第七步连接配置

                 

 

　　　　C、如果要在windows的eclipse中提交job给集群，则要修改YarnRunner类

MAVEN的pom.xml，hadoop版本是hadoop-2.6.0-cdh5.7.0

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.sumeng</groupId>
    <artifactId>cloudHadoop</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.6.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.6.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.0</version>
        </dependency>
    </dependencies>
</project>

 

转载于:https://www.cnblogs.com/SuMeng/p/7998124.html