hadoop03--(mapreduce)

最新推荐文章于 2022-12-13 22:52:41 发布
最新推荐文章于 2022-12-13 22:52:41 发布
阅读量551 收藏
点赞数 1
分类专栏： 离线计算 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37650458/article/details/84678584
版权

1.MAPREDUCE原理篇

Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；

2. MAPREDUCE框架结构及核心运行机制

  1.结构:

  一个完整的mapreduce程序在分布式运行时有三类实例进程：

   1、MRAppMaster：负责整个程序的过程调度及状态协调

   2、mapTask：负责map阶段的整个数据处理流程

   3、ReduceTask：负责reduce阶段的整个数据处理流程

3.mapreduce快速体验（单词技术案例）

      首先需要配置本地的hadoop环境：

        

         

         

     1.第一种运行方式，新建java项目本地运行，不在集群上跑，新建java项目，导入jar包

         解压

       

         

             

            代码编写，创建一个驱动类：

package com.wx.mapreduce1;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class WordCountDriver {

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // TODO Auto-generated method stub
        //相当于一个yarn集群的客户端，在这里我们封装好mr的运行参数，指定jar包
        //最后交给yarn
        Configuration conf=new Configuration();

        //是否运行在本地
        conf.set("mapreduce.framework.name", "local");
        //本地运行mapreduce时输入的数据可以在本地也可以在hadoop上，看你怎么配置
       // conf.set("fs.defaultFS", "hdfs://hadoop1:9000/");
        //conf.set("fs.defaultFS", "file:///"); //默认就是从本地拿

        //要想运行为集群模式，就要把程序提交到yarn中去运行,一下三个参数就要指定为集群上的值
//		conf.set("mapreduce.framework.name", "yarn");
//		conf.set("yarn.resourcemanager.hostname", "hadoop1");
//		conf.set("fs.defaultFS", "hdfs://hadoop1:9000/");

        Job job =Job.getInstance(conf);

        //指定本程序jar包所在的本地路径
        job.setJarByClass(WordCountDriver.class); //hadoop -jar这个才能找到正确位置，这是打包上去用hadoop-jar运行
        //job.setJar("/home/hadoop/wordcount.jar");//java -jar就要写死了让他去找jar包,这是打包上去用java -jar运行
        job.setJar("F:\\hadoopwordcount.jar");  //这是eclipse里面运行集群模式，指定jar包
        //指定本业务要使用的mapper/reduces业务
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReduce.class);

        //指定mapper输出数据kv的类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //指定最终输出数据kv的类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //指定job输入源文件的路径
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        //将job中设置的相关参数，和job所用java类所在的jar包提交给yarn，让yarn去运行
        //job.submit();
        //Job运行是通过job.waitForCompletion(true)，true表示将运行进度等信息及时输出给用户，
        //false的话只是等待作业结束
        //Job对象有两种状态：DEFINE和RUNNING，是通过JobState枚举类定义的
        boolean re = job.waitForCompletion(true);
        System.exit(re?0:1);
    }

}

     编写map程序：
 

package com.wx.mapreduce1;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

/*
 *  Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
 * 默认情况下KEYIN是mr读到一行文本的起始偏移量，类型为Long,但是在hadoop中有自己更精简的序列化接口
 * 所以不直接用Long,而是用LongWritable
 * VALUEIN默认情况下为mr读到的一行文本的内容，类型为String,用Text
 * KEYOUT为用户 自定义处理后输出数据的key,此处是单词类型为String，同样使用Text
 * VALUEOUT为用户自定义处理输出后的value，此处是单词的次数，类型为Integer,使用IntWritable
 */
public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

    //maptask会对我们输入的每一行数据都调用一次map方法处理
    @Override
    protected void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException {
        //将输入的文本先转换为空格
        String line = value.toString();
        //按空格分割
        String[] words = line.split(" ");
        //将单词输出 结果为 <单词，1>
        for(String word:words)
        {
            //将单词作为key,value作为1
            context.write(new Text(word), new IntWritable(1));
        }
    }

}

  编写reduce程序：

package com.wx.mapreduce1;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/*
 * Reducer<KEYIN, VALUEIN, KEYOUT, VALUEOUT>
 * KEYIN和VALUEIN为其他的mapper的输出数据 如：<hello,1><hello,1><hello,1><hello,1>
 * KEYOUT和VALUEOUT一个是单词，一个单词的总次数
 */
public class WordCountReduce extends Reducer<Text, IntWritable, Text, IntWritable>{

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {
        int count=0;
        //把单词的次数相加
        for(IntWritable value:values)
        {
            count+=value.get();
        }
        //输出
        context.write(key,new IntWritable(count));
    }
}

打包本地运行：打包成功后将jar包发哦到程序setjar指定的位置

配置启动参数：

准备数据：


  右击主类运行：

本地运行没有问题

2. 第二种运行方式，提交到集群运行，首先需要启动hadoop集群，hadoop集群基于这篇博客搭建的hadoop集群

     

  创建测试目录及文件（命令最好手敲，复制的可能不能正常执行）：

  hadoop fs -mkdir -p /wordcount/input       hadoop fs -put words.txt  /wordcount/input

  

 接下来修改驱动类：

package com.wx.mapreduce1;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class WordCountDriver {

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // TODO Auto-generated method stub
        //相当于一个yarn集群的客户端，在这里我们封装好mr的运行参数，指定jar包
        //最后交给yarn
        Configuration conf=new Configuration();

        //是否运行在本地
        //conf.set("mapreduce.framework.name", "local");
        //本地运行mapreduce时输入的数据可以在本地也可以在hadoop上，看你怎么配置
        //conf.set("fs.defaultFS", "hdfs://hadoop1:9000/");
        //conf.set("fs.defaultFS", "file:///"); //默认就是从本地拿

        //要想本地运行为集群模式，就要把程序提交到yarn中去运行,一下三个参数就要指定为集群上的值
       /* conf.set("mapreduce.framework.name", "yarn");
        conf.set("yarn.resourcemanager.hostname", "hadoop1");
        conf.set("fs.defaultFS", "hdfs://hadoop1:9000/");*/

        //windows向linux集群提交，需要添加跨平台参数，打包到linux,则不需要添加
        //conf.set("mapreduce.app-submission.cross-platform","true");
        Job job =Job.getInstance(conf);

        //指定本程序jar包所在的本地路径
        job.setJarByClass(WordCountDriver.class); //hadoop -jar这个才能找到正确位置，这是打包上去用hadoop-jar运行
        //job.setJar("/home/hadoop/wordcount.jar");//java -jar就要写死了让他去找jar包,这是打包上去用java -jar运行
        //job.setJar("F:\\hadoopwordcount.jar");  //这是eclipse里面运行集群模式，指定jar包
        //指定本业务要使用的mapper/reduces业务
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReduce.class);

        //指定mapper输出数据kv的类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //指定最终输出数据kv的类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //指定job输入源文件的路径
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        //将job中设置的相关参数，和job所用java类所在的jar包提交给yarn，让yarn去运行
        //job.submit();
        //Job运行是通过job.waitForCompletion(true)，true表示将运行进度等信息及时输出给用户，
        //false的话只是等待作业结束
        //Job对象有两种状态：DEFINE和RUNNING，是通过JobState枚举类定义的
        boolean re = job.waitForCompletion(true);
        System.exit(re?0:1);
    }

}

 

打包上传到任意一台机器都行：

运行报错：Unsupported major.minor version 52.0，

直译过来意思是：不支持version52.0，其中version 52.0是魔码的其中一个版本，他对应的是jdk1.8

所以异议过来就是：不支持jdk1.8

修改idea jdk的版本：

重新打包上传运行：

报错：输入目录已经存在，然后我删除了hdpdata，重新格式化hdfs,但是出现datanode无法启动的情况，

原因是clusterID不一致

删除tmp下的内容

从/home/hdp/hadoop/name/current/VERSION 获得clusterID

修改到

/home/hdp/hadoop/data/current/VERSION

修改保持一致，然后重启服务

运行仍然不成功，因为无法剔除多余的jar包，所以这种方式运行改用下面的maven项目完成。

3.第三种运行模式，本地平台向集群提交任务：修改驱动文件：

  

package com.wx.mapreduce1;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class WordCountDriver {

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        // TODO Auto-generated method stub
        //相当于一个yarn集群的客户端，在这里我们封装好mr的运行参数，指定jar包
        //最后交给yarn
        Configuration conf=new Configuration();

        //是否运行在本地
        //conf.set("mapreduce.framework.name", "local");
        //本地运行mapreduce时输入的数据可以在本地也可以在hadoop上，看你怎么配置
          conf.set("fs.defaultFS", "hdfs://hadoop1:9000/");
        //conf.set("fs.defaultFS", "file:///"); //默认就是从本地拿

        //要想本地运行为集群模式，就要把程序提交到yarn中去运行,一下三个参数就要指定为集群上的值
		conf.set("mapreduce.framework.name", "yarn");
		conf.set("yarn.resourcemanager.hostname", "hadoop1");
		conf.set("fs.defaultFS", "hdfs://hadoop1:9000/");

		//windows向linux集群提交，需要添加跨平台参数，打包到linux,则不需要添加
        conf.set("mapreduce.app-submission.cross-platform","true");
        Job job =Job.getInstance(conf);

        //指定本程序jar包所在的本地路径
        job.setJarByClass(WordCountDriver.class); //hadoop -jar这个才能找到正确位置，这是打包上去用hadoop-jar运行
        //job.setJar("/home/hadoop/wordcount.jar");//java -jar就要写死了让他去找jar包,这是打包上去用java -jar运行
        job.setJar("F:\\hadoopwordcount.jar");  //这是eclipse里面运行集群模式，指定jar包
        //指定本业务要使用的mapper/reduces业务
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReduce.class);

        //指定mapper输出数据kv的类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);

        //指定最终输出数据kv的类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        //指定job输入源文件的路径
        FileInputFormat.setInputPaths(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        //将job中设置的相关参数，和job所用java类所在的jar包提交给yarn，让yarn去运行
        //job.submit();
        //Job运行是通过job.waitForCompletion(true)，true表示将运行进度等信息及时输出给用户，
        //false的话只是等待作业结束
        //Job对象有两种状态：DEFINE和RUNNING，是通过JobState枚举类定义的
        boolean re = job.waitForCompletion(true);
        System.exit(re?0:1);
    }

}


报错：Exception message: /bin/bash: line 0: fg: no job control,这是因为运行平台不一致的原因，两种解决方式

  要么在配置文件mapreduce-site.xml中添加：

<property>  
        <name>mapred.remote.os</name>
        <value>Linux</value>
        <description>Remote MapReduce framework's OS, can be either Linux or Windows</description> 
       </property>
		<property>
           <name>mapreduce.app-submission.cross-platform</name>
           <value>true</value>
        </property>

  要么在代码中添加（当然选择这种方式）：

//windows向linux集群提交，需要添加跨平台参数，打包到linux,则不需要添加
        conf.set("mapreduce.app-submission.cross-platform","true");

  右击运行：

 查看结果：

  以上是新建java项目来运行mapreduce程序，下面主要是新建maven项目来运行mapreduce 程序，主要是为了让打包方便

 首先还是本地想集群提交任务

 java类和上面一样，配置也一样，唯一不同的是添加jar包改成添加依赖：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.wx</groupId>
    <artifactId>learnhadoop</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <!--添加hadoop common依赖-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.4</version>
        </dependency>
        <!--添加hadoop hdfs依赖-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.6.4</version>
        </dependency>
        <!--添加hadoop client依赖-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.4</version>
        </dependency>
       <!--添加hadoop-core的依赖-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>1.2.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
            <version>2.6.1</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-yarn-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-common</artifactId>
            <version>2.6.4</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-common -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-common</artifactId>
            <version>2.6.4</version>
        </dependency>


    </dependencies>

</project>

 运行：没有问题

接下来打包到集群上去运行:maven打包方便不用去剔除External Libraries下的包：
驱动类还是和上面一样：

运行命令：

 hadoop jar  learnhadoop-1.0-SNAPSHOT.jar  com.wx.mapreduce1.WordCountDriver  /wordcount/input /wordcount/output

结果：

时空恋旅人
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hadoop-mapreduce-client-jobclient-2.6.5-API文档-中文版.zip
05-01
赠送jar包：hadoop-mapreduce-client-jobclient-2.6.5.jar； 赠送原API文档：hadoop-mapreduce-client-jobclient-2.6.5-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-jobclient-2.6.5-sources.jar； 赠送...
MapReduce学习笔记（3）—— mapreduce程序本地运行模式
一角残叶的博客
08-07 5246
1 本地运行模式 mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行 而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上 实现本地运行？不要带集群的配置文件（本质是mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数） 本地模式非常便于进行业务逻辑的d...
hadoop详细笔记(十七) 将MapReduce程序提交到Yarn上运行
HANG.NIAN
07-14 1286
免费视频教程https://www.51doit.com/或者联系博主微信 17710299606 1 windows上 System.setProperty("HADOOP_USER_NAME", "root"); Configuration conf = new Configuration(); // 设置访问的集群的位置 conf.set("fs.defaultFS", "hdfs://doit01:9000"); // 设置yarn的位置 conf.set("mapreduce.fr...
mapreduce程序本地模式调试
freefish_yzx的博客
08-05 3799
Exception in thread "main" java.lang.IllegalArgumentException: Pathname /c:/wordcount/output6666 from hdfs://hadoop01:9000/c:/wordcount/output6666 is not a valid DFS filename org.apache.hadoop.security.AccessControlException: Permission denied: user=admin,
MapReduce分布式计算框架：MapReduce运行模式是什么?
Blue92120的博客
11-29 917
在文件4-6中，往Configuration对象中添加“mapreduce.framework.name=local”参数，表示程序为本地运行模式，实际上在hadoop-mapreduce-client-core-2.7.4.jar包下面的mapred-default.xml配置文件中，默认指定使用本地运行模式，因此mapreduce.framework.name=local配置也可以省略;(1)本地运行模式：在当前的开发环境模拟MapReduce执行环境，处理的数据及输出结果在本地操作系统。
MapReduce原理剖析
简单随风的博客
07-16 4667
MapReduce是一种分布式计算模型，是Google提出来的，主要用于搜索领域，解决海量数据的计算问 题. MapReduce是分布式运行的，由两个阶段组成:Map和Reduce， Map阶段是一个独立的程序，在很多个节点同时运行，每个节点处理一部分数据。 Reduce阶段也是一个独立的程序，可以在一个或者多个节点同时运行，每个节点处理一部分数据在这我们先把reduce理解为一个单独的聚合程序即可。 在这map就是对数据进行局部汇总，reduce就是对局部数据进行最终汇总。 结合到我们前面分析的统计黑桃的
hadoop-mapreduce-examples-2.6.5.jar
10-23
hadoop-mapreduce-examples-2.6.5.jar 官方案例源码
hadoop-mapreduce-client-app-2.7.3-API文档-中英对照版.zip
07-14
赠送jar包：hadoop-mapreduce-client-app-2.7.3.jar； 赠送原API文档：hadoop-mapreduce-client-app-2.7.3-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-app-2.7.3-sources.jar； 赠送Maven依赖信息文件：...
hadoop-mapreduce-client-core-2.7.3-API文档-中英对照版.zip
07-14
赠送jar包：hadoop-mapreduce-client-core-2.7.3.jar； 赠送原API文档：hadoop-mapreduce-client-core-2.7.3-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-core-2.7.3-sources.jar； 赠送Maven依赖信息文件：...
hadoop-mapreduce-client-core-2.5.1-API文档-中文版.zip
04-23
赠送jar包：hadoop-mapreduce-client-core-2.5.1.jar； 赠送原API文档：hadoop-mapreduce-client-core-2.5.1-javadoc.jar； 赠送源代码：hadoop-mapreduce-client-core-2.5.1-sources.jar； 赠送Maven依赖信息文件：...
MapReduce shuffle过程详解
weixin_42265234的博客
10-25 1547
一、MapReduce计算模型 我们知道MapReduce计算模型主要由三个阶段构成：Map、shuffle、Reduce。 Map是映射，负责数据的过滤分法，将原始数据转化为键值对；Reduce是合并，将具有相同key值的value进行处理后再输出新的键值对作为最终结果。为了让Reduce可以并行处理Map的结果，必须对Map的输出进行一定的排序与分割，然后再交给对应的Reduce，而这个将Map输出进行进一...
大数据基础篇--MapReduce工作原理
qq_43709558的博客
10-07 1万+
mapreduce
MapReduce的基本工作原理
热门推荐
fanxin_i的博客
05-21 5万+
MapReduce的基本模型和处理思想：三个层面上的基本构思1.如果对付大数据处理：分而治之 对相互之间不具有计算依赖关系的大数据，实现并行最自然的办法就是采取分而治之的策略。 2.上升到抽象模型：Mapper与Reduce MPI等并行计算方法缺少高层并行编程模型，程序员需要自行指定存储，计算，分发等任务，为了克服这一缺陷，MapReduce借鉴了Lisp函数式语言中的思想，用M...
Hadoop面试题 MapReduce篇
nuobing1314的博客
08-13 679
什么是MapReduce？ 它是一种框架或编程模型，用于使用分布式编程在计算机集群上处理大型数据集。 什么是“Map”和“Reduce”？ “Maps”和“Reduces”是在 HDFS 中解决查询的两个阶段。'Map'负责从输入位置读取数据，并根据输入类型生成一个键值对，即本地机器的中间输出。'Reducer'负责处理从输入位置接收到的中间输出映射器并生成最终输出。 Map映射器的四个基本参数是什么？ 映射器的四个基本参数是 LongWritable、text、text 和 IntWritable。前
(防坑笔记)hadoop3.0 (三) MapReduce流程及序列化、偏移值（MapReduce）
CoffeeAndIce的博客
12-28 2357
防坑留言： 一种将数据量分成小块计算后再汇总的一种方式吧， 基本理解         一张图简单构建MapReduce的基本思路 map()：相当于分解任务的集合吧 reduce(): 相当于对分解任务运算结果的汇总  以上的两种函数的形参都是K/V结构 Mapper的任务过程 (其中的mappe任务是一个java进程)
MapReduce 工作原理
m0_72168501的博客
12-13 2317
MapReduce的工作原理
MapReduce原理
takeuherat的博客
11-18 236
MapReduce原理 MapTask运行机制及并行度 inputFile通过split被逻辑切分为多个split文件，通过Record按行读取内容给map（用户自己实现的）进行处理，数据被map处理结束之后交给OutputCollector收集器，对其结果key进行分区（默认使用hash分区），然后写入buffer，每个map task都有一个内存缓冲区，存储着map的输出结果，当缓冲区快满...
MapReduce原理深入理解
weixin_44778537的博客
11-24 1785
1、MapReduce概述及原理 MapReduce是一种分布式计算模型 MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。Reduce阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据【在这先把reduce理解为一个单独的聚合程序即可】。 MapReduce框架都有默认实现，用户只需要覆盖map()和reduce()两个函数，即可实现分布式计算，非常简单。 这两个函数的形参和返回值都是&l.
MapReduce 基础之：图文讲解 MapReduce 工作原理
weixin_43542605的博客
01-03 2万+
图文详解mapreduce
hadoop-mapreduce-client-core
最新发布
11-18
hadoop-mapreduce-client-core是Hadoop分布式计算框架中的核心模块之一。它主要包含了Hadoop MapReduce的核心功能和API接口，是实现MapReduce编程模型的必备组件。 Hadoop MapReduce是一种用于大规模数据处理的编程...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

时空恋旅人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值