5.5 Map-Reduce(映射-归约)模型

Map-Reduce是一种处理和生成大数据集的模型,适用于数据流处理。它包括映射和归约两个阶段,用于数据转换和统计。然而,由于在时间和空间上的开销,Map-Reduce模型不适合用于集合,特别是当需要处理大规模数据或寻找特定元素时,如找出大范围内首个素数。在这些情况下,流作为数据结构能够更好地实现Map-Reduce,因为它允许在提供每个元素时立即进行过滤和累积,从而减少资源消耗。
摘要由CSDN通过智能技术生成

Reduce,yqj2065译为归约/归结。We can reduce his speech to three sentences.他的哔哔哔哔,我们可以归总为3句话。

 

对于数组或List,我们可以设计一些宏观上的操作。如将它们视为信号,按照信号处理的方式,设计过滤/filter、映射/map和累积/accumulate方法。本节介绍信号处理的Map-Reduce(映射-归总)模型以及它们为什么不适合用于集合。

 

要点:

 

  • Map-Reduce并不神秘
  • Map-Reduce需要流,流的核心——如同基本for循环一样的,对于数据序列中的每一个元素,进行过滤和累积,然后再提供下一个数据。数据序列的供给过程和使用过程交替进行
  •  

 

1. MapReduce模型

假设求解问题:

  • 求[a,b]之间素数的和
  • 输出0-x之间符合条件(例如 3的倍数而且含5的或者含7)的数
  • 打印[10000,100000000]之间第一个素数

通常程序员容易地针对具体问题给出方案。

 

 

    public static long sum(long a, long b) {
        long result = 0;
        for (long i = a; i <= b; i++) {
            if (
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值