理解 map 和 reduce 的实现

最新推荐文章于 2023-03-23 19:21:35 发布
最新推荐文章于 2023-03-23 19:21:35 发布
阅读量603 收藏
点赞数
分类专栏： Hadoop 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/padluo/article/details/123015921
版权

我们来思考一个题目，有一个 List List list = new ArrayList(1, 2, 3, 4, 5) ，我想实现这样的一个功能，把 list 里面的每个元素乘以 2 ，用 Java 怎么写？

import java.util.ArrayList;

public class ListDemo {
    public static void main(String[] args) {
        ArrayList<Integer> list = new ArrayList<>();
        list.add(1);
        list.add(2);
        list.add(3);
        list.add(4);
        list.add(5);

        ArrayList<Integer> result = new ArrayList<>();
        for (int i = 0; i < list.size(); i++) {
            result.add(list.get(i) * 2);
        }
    }
}

如果我现在不想乘以 2 ，我想将逻辑做一下变化，现在不乘以 2 了，要加 3 ，那怎么办？

import java.util.ArrayList;

public class ListDemo {
    public static void main(String[] args) {
        ArrayList<Integer> list = new ArrayList<>();
        list.add(1);
        list.add(2);
        list.add(3);
        list.add(4);
        list.add(5);

        ArrayList<Integer> result = new ArrayList<>();
        for (int i = 0; i < list.size(); i++) {
            result.add(list.get(i) * 2);
        }

        ArrayList<Integer> result1 = new ArrayList<>();
        for (int i = 0; i < list.size(); i++) {
            result1.add(list.get(i) * 3);
        }
    }
}

如果这么写，很多的代码是一样的，只有一个地方不一样。从 list 中拿出来的一个元素，做映射，转变成另外一个元素，然后设置到新的 list 中去，中间的这个映射逻辑我们没搞定，为了提高这个代码的通用性，我们应该怎么做？我希望以后不管是什么逻辑，不用写重复的这一堆代码。

sc
  .textfile("hdfs://hadoop277ha/spark/wc/input/words.txt")
  .flatMap(_.split(" "))
  .map((_, 1))
  .reduceByKey(_ + _)
  .saveAsTextFile("hdfs://hadoop277ha/spark/wc/output")

在 Scala 的 WordCount 程序里面有这样一段代码，这个 map 的工作就是你给我一个单词，我把单词变成单词对返回。这个里面的逻辑 map 做了什么？就是上一个结果集当中每次拿出来一个元素，然后交给这个逻辑，这个逻辑最终把那个元素变成了一个单词对，这就是所谓的映射。我们能不能也去做这个事儿呢？

public class ListMapReduce {
    // list.map(x => x+1)
    // map 方法有吗？ x=>x+1 计算逻辑，方法，Java 当中，方法里面能传方法作为参数吗？
    private List list;

    public List map() {
        ArrayList<Integer> newResult = new ArrayList<>();
        return newResult;
    }
}

list.map Java 中 list 没有这个方法，我想实现这个功能，给我一个 x ，我帮你把 x 加 1 ，这里面有两个难点，List 当中没有 map 方法，x 变成 x+1 是个计算逻辑，我们可以认为在 Java 中定义计算逻辑的东西是一个方法。
假设有 map 方法，但是在 Java 当中，方法里面能传方法作为参数吗？也不能。但是我们有方式可以去实现，既然没有这个 map 方法给 list 直接去调用，但是我可以定义一个 map 方法作用在这个 list 之上，我们有个成员变量 list 存数据，跟 map 方法是平级的，这个 map 方法可以操作这个 list 。
另外，x 变成 x+1 是个计算逻辑，map 方法需要一个参数，这个参数该怎么定义呢，不能往里面传一个方法，但我们可以把这个逻辑放在某个对象里面，传这个对象，我往 map 里面传一个对象，这个对象里面有一个方法，这个方法就是我想要的计算逻辑。这个对象现在是什么我可能不太知道，但是我希望它里面有一个方法能够帮我去执行计算逻辑，这肯定是一个映射。

import java.util.ArrayList;
import java.util.List;

public class ListMapReduce {
    // list.map(x => x+1)
    // map 方法有吗？ x=>x+1 计算逻辑，方法，Java 当中，方法里面能传方法作为参数吗？
    private List<Integer> list;

    public List map(Operator o) {
        ArrayList<Integer> newResult = new ArrayList<>();
        for (int i = 0; i < list.size(); i++) {
            int result = o.f(list.get(i));
            newResult.add(result);
        }
        return newResult;
    }
}

interface Operator {
    int f(int a);
}

这个方法具不具备通用性呢？我们做一个测试，我们看 result1 这个结果，我针对 listMapReduce 做了一个 map 操作，里面 map 的具体实现是在遍历成员变量 list ，然后把每个元素拿出来，用 o 对象当中的 f 方法，做了映射，你把每个元素给我，我给你反馈一个结果，map 是做了一个映射，具体的逻辑怎么做映射，传给 f 的每个元素到底变成什么结果呢？我们在 Operator 接口的方法中实现，这变得非常灵活，我可以加 1 ，可以乘 2 ，无论如何 map 的逻辑不用动，调用逻辑不用动，只需要在 f 里面定义方法，定义具体的实现逻辑，这个方法里面已经写好了一部分，如参数是什么，返回值是什么，需要自己定一个逻辑，然后得到一个返回值。

import java.util.ArrayList;
import java.util.List;

public class ListMapReduce {
    public static void main(String[] args) {
        ArrayList<Integer> list = new ArrayList<>();
        list.add(1);
        list.add(2);
        list.add(3);
        list.add(4);
        list.add(5);

        ListMapReduce listMapReduce = new ListMapReduce();
        listMapReduce.setList(list);
        List result1 = listMapReduce.map(new Operator() {
            @Override
            public int f(int a) {
                return a + 1;
            }
        });
    }

    public List<Integer> getList() {
        return list;
    }

    public void setList(List<Integer> list) {
        this.list = list;
    }

    // list.map(x => x+1)
    // map 方法有吗？ x=>x+1 计算逻辑，方法，Java 当中，方法里面能传方法作为参数吗？
    private List<Integer> list;

    public List map(Operator o) {
        ArrayList<Integer> newResult = new ArrayList<>();
        for (int i = 0; i < list.size(); i++) {
            int result = o.f(list.get(i));
            newResult.add(result);
        }
        return newResult;
    }
}

interface Operator {
    int f(int a);
}

map 做了什么呢？你给我一个值，这个值从成员变量 list 当中遍历得来，我通过 f 的逻辑，帮你把这个值变成另外一个值，这个值放到最终要返回的 newResult 里面去，这里 new 了一个 newResult ，去装每一次映射得到的结果，把这个 newResult 返回。map 方法在 ListMapReduce 里面，把 ListMapReduce 中的成员变量 list 转成新的List newResult/result1 ，具体怎么转的，映射的逻辑在我们 o 对象的方法 f 里面定义，我们在用的时候，要用什么逻辑，就临时性的创建一个临时接口，创建一个匿名对象。

这个计算逻辑，在 Java 当中，只能够定义方法，那怎么能够让方法传到一个方法里面去呢？在 Java 当中不支持这个语法，我们可以把一个方法定义在一个接口当中，未来我们在用的时候，想要实现什么样的功能，随时随地传一个包含该方法实现的一个对象就可以了。

按照这个思路，我们还可以实现 reduce 。

import java.util.ArrayList;
import java.util.List;

public class ListMapReduce {
    public static void main(String[] args) {
        ArrayList<Integer> list = new ArrayList<>();
        list.add(1);
        list.add(2);
        list.add(3);
        list.add(4);
        list.add(5);

        ListMapReduce listMapReduce = new ListMapReduce();
        listMapReduce.setList(list);

        // 调用
        List result1 = listMapReduce.map(new Operator() {
            @Override
            public int f(int a) {
                return a + 1;
            }
        });
        int result2 = listMapReduce.reduce(new ReduceOperator() {
            @Override
            public int reduce(int a, int b) {
                return a + b;
            }
        });
        System.out.println(result2);
    }

    public List<Integer> getList() {
        return list;
    }

    public void setList(List<Integer> list) {
        this.list = list;
    }

    // list.map(x => x+1)
    // map 方法有吗？ x=>x+1 计算逻辑，方法，Java 当中，方法里面能传方法作为参数吗？
    private List<Integer> list;

    public List map(Operator o) {
        ArrayList<Integer> newResult = new ArrayList<>();
        for (int i = 0; i < list.size(); i++) {
            int result = o.f(list.get(i));
            newResult.add(result);
        }
        return newResult;
    }

    public int reduce(ReduceOperator o) {
        // 这个地方需要加判断（空、越界）
        int result = list.get(0);
        for (int i = 1; i < list.size(); i++) {
            result = o.reduce(result, list.get(i));
        }
        return result;
    }
}

interface Operator {
    int f(int a);
}

interface ReduceOperator {
    int reduce(int a, int b);
}

以上 map 和 reduce 方法的实现，其实是一个设计模式，叫策略模式，就是不同的业务场景用不同的需求实现，就是不同的情况我有不同的策略去针对你。

微信公众号「padluo」，分享数据科学家的自我修养，既然遇见，不如一起成长。关注【数据分析】公众号，后台回复【文章】，获得整理好的【数据分析】文章全集。
数据分析公众号二维码

padluo
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
map/reduce实例（一）
mo_5201314的博客
08-25 313
map/reduce基础——wordcount wordcount是map/reduce中最基础的一个案例，是一个入门练习案例。 map/reduce一般分为三个组件mapper、reducer、dirver。mapper和reducer负责业务逻辑，driver负责提交业务。 mapper如下 public class Mapwordc extends Mapper<LongWritabl...
MapReduce的简单代码实现
yuechu4492的博客
04-26 1032
需求：统计某个文档里面每个城市访问该网站的访客数
Map/Reduce程序设计
BJYXSZDLHY的博客
07-17 521
Map/Reduce程序设计
Map设计和Reduce设计
oraclestudyroad的博客
07-25 957
Hadoop认证课程：Map设计和Reduce设计，单词词频统计WordCount是Hadoop自带的一个简单的应用，它可以计算出指定文本集中每一个单词出现的次数。要利用MapReduce编程模型去实现一个词频统计的并行程序，对于开发者来讲需要做两件事：第一是如何将顺序执行的词频统计算法流程转化为MapReduce的处理模式，具体就是如何设计Map和Reduce的输入和输出的键值对，以及Map和R
hadoop/mapreduce-矩阵乘法 mapreduce的实现（代码）
06-27
最近在研究hadoop与mapReduce，网上教程只有个wordcount程序示范，太简单，故写了个相对复杂点的涉及到多个文件之间同时运算的矩阵乘法的代码用于实验与测试，上传供大家学习与参考。 调用方法： 执行：hadoop jar matrix.jar com.baosight.mapred.test.MatrixMulti left:/tmp/a right:/tmp/b output:/tmp/c leftprefix:000000_ rightprefix:000000_ >参数1：left:左矩阵路径 >参数2：right:右矩阵路径 >参数3：output:左矩阵乘右矩阵结果路径 >参数4：leftprefix：左矩阵文件前缀 如/tmp/a/000000_0,000000_1,000000_2……的000000_ >参数5：rightprefix：右矩阵文件前缀 >左右矩阵按列存储，每个文件只存放一列值，如2x2的单位矩阵， 000000_0存放1 0 000000_1存放 0 1
PageRank算法简介及Map-Reduce实现
02-26
以前虽然有实验过，但理解还是不透彻，这几天又看了一下，这里总结一下PageRank算法的基本原理。PageRank的Page可是认为是网页，表示网页排名，也可以认为是LarryPage(google产品经理)，因为他是这个算法的发明者之...
Map-reduce算法及其实现 python 实验报告
最新发布
07-21
1、理解map-reduce算法思想与流程； 2、应用map-reduce思想解决问题； 3、（可选）掌握并应用combine与shuffle过程。 1.2 实验内容 提供9个预处理过的文件夹（folder_1-9）模拟9个分布式节点中的数据，每个源...
使用Map-Reduce对大规模图进行排名和半监督分类
11-19
文档“使用Map-Reduce对大规模图进行排名和半监督分类.docx”可能是该论文的中文翻译，便于理解。 总结来说，这个主题涉及如何利用MapReduce有效地处理大规模图数据，执行PageRank排序，以及进行半监督分类，这对于...
js代码-es5 reduce 实现 map
07-15
在JavaScript的世界里，`Array.prototype.map()` 和 `Array.prototype.reduce()` 是两个非常重要的数组方法...同时，掌握并理解`map()`和`reduce()`这两个核心的数组方法对于任何JavaScript开发者来说都是至关重要的。
MapReduce极简实现
NULL
06-29 706
0 概述 MapReduce是一种广泛运用的分布式-大数据计算编程模型，最初由Google发表，其开源实现为Hadoop。 MapReduce 的编程模型非常简单，正如名字一样，用户仅仅需要实现一个 Map 函数，一个 Reduce 函数。 Map 函数，即映射函数：它会接受一个 key-value 对，然后把这个 key-value 对转换成 0 到多个新的 key-value 对并输出出...
mapreduce实现原理
~衫~的博客
03-18 801
1.MapReduce简介  一   MapReduce是一种分布式计算模型.是由Google提出的,主要是解决海量数据的计算。 二  MapReduce主要分为两个阶段:Map和Reduce,用户只需实现map()和reduce()即可实现分布式计算.2.MapReduce实现流程3.MapReduce原理解析:1.阶段是Map阶段:  1.1 读取HDFS中的文本.将每一行都解析成一个个&lt...
使用reduce实现map
weixin_34174422的博客
02-21 1263
刚刚接触的时候觉得很简单的问题，但真正下手实现的时候，发现牵扯出很多的东西。你真的完全了解Array.prototype.map吗 map相关的概念 遍历数组的每一项，并执行回调函数的操作，返回一个对每一项进行操作后的新数组， arr1.map(function(item,idx,arr){ item //数组的每一项 idx // 当前项的索引 arr // 当前...
廖雪峰python - 函数式编程 - 高阶函数 - map/reduce
imolly的博客
03-23 132
2. 对于一些抽象的、不会别的地方再复用的函数，有时候给函数起个名字也是个难题，使用lambda不需要考虑命名的问题。1. lambda可以省去定义函数的过程，精简代码。2. reduce( 函数，可迭代参数)1. map( 函数，可迭代参数)把结果继续和序列的下一个元素做。
使用reduce实现map()
qq_39897978的博客
07-01 936
一、了解map()和reduce() https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Reference/Global_Objects/Array/map map() 方法创建一个新数组，其结果是该数组中的每个元素是调用一次提供的函数后的返回值。 （2）reduce（） 二、具体实现 Array.prototype.map = (func,callBackThis)=>{ return this.reduce(accu,cur
MapReduce
王清欢的博客
01-03 9119
MapReduce MapReduce基本思想 ​ MapReduce 编程模型来源于函数式编程语言中的 Map 函数和 Reduce 函数，是一种线性可伸缩的编程模型，能够处理和生成超大数据集的算法模型。使用函数式编程模型的好处在于这种编程模型本身就对并行执行有良好的支持，这使得底层系统能够轻易地将大数据量的计算并行化，能够在大量的普通配置的计算机上实现并行化处理，同时由用户函数所提供的确定性也使得底层系统能够将函数重新执行作为提供容错性的主要手段。 ​ MapReduce 主要关注四个问题，分别是如何分
java list 转 map_java8 快速实现List转map 、分组、过滤等操作
weixin_39861823的博客
11-29 90
java8 快速实现List转map 、分组、过滤等操作定义1个Apple对象：public class Apple { private Integer id; private String name; private BigDecimal money; private Integer num; public Apple(Integer id, String...
【MapReduce】基本编程方法和案例(Java)
毕业于东北大学软件工程专业，现就职于字节跳动
11-12 3776
【MapReduce】系列学习笔记： 第一部分：基本介绍 第二部分：MapReduce的编程 文章目录1 MapReduce编程规范1.1 Map阶段1.2 Shuffle阶段1.3 Reduce阶段2 MapReduce编程流程3 案例：WordCount3.1 步骤分析3.2 编码3.2.1 导入依赖和打包jar3.2.2 建立Mapper类 1 MapReduce编程规范 MapReduce开发共有八个步骤 其中Map阶段2个步骤、Shuffle阶段4个步骤、Reduce阶段2个步骤 1.1
python关于list的三个内置函数filter(), map(), reduce()
afo1145的博客
04-15 280
'''Python --version :Python 2.7.11Quote : https://docs.python.org/2/tutorial/datastructures.html#more-on-listsAdd by camel97 2017-04'''1.filter()#filter(function, sequence) returns a sequence con...
java list map 查询_Java8 快速实现List转map 、分组、过滤等操作
weixin_31060209的博客
02-16 467
利用java8新特性，可以用简洁高效的代码来实现一些数据处理。定义1个Apple对象：publicclassApple{privateIntegerid;privateStringname;privateBigDecimalmoney;privateIntegernum;publicApple(Integerid,Stringname,BigDecimalmoney...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值