并发编程：并行反应式流：归约流（MapReduce）

最新推荐文章于 2023-10-21 14:24:59 发布

博风

最新推荐文章于 2023-10-21 14:24:59 发布

阅读量278

点赞数

分类专栏：并发编程 # JavaBase # Stream 文章标签： stream java 并发编程

本文链接：https://blog.csdn.net/Bof_jangle/article/details/108372556

版权

并发编程同时被 3 个专栏收录

68 篇文章 0 订阅

订阅专栏

JavaBase

39 篇文章 0 订阅

订阅专栏

Stream

13 篇文章 0 订阅

订阅专栏

主要内容

MapReduce是一种编程模型，主要用在集群环境中大量机器处理的超大数据集。该模型有如下两种操作：

Map：把原始元素过滤转换为另一种更适合归约的形式。
Reduce：在所有元素之上生成一个总计结果。比如，为数字生成总数、平均值、最大值、最小值。（sum、average、max、min、count）

一、主程序

package xyz.jangle.thread.test.n6_3.mapreduce;

import java.util.List;
import java.util.Optional;
import java.util.stream.DoubleStream;

import xyz.jangle.thread.test.n6_2.create.Person;
import xyz.jangle.thread.test.n6_2.create.PersonGenerator;

/**
 * 6.3、归约流
 * 
 * @author jangle
 * @email jangle@jangle.xyz
 * @time 2020年9月2日 下午8:30:18
 * 
 */
public class M {

	public static void main(String[] args) {

		// Integer Double Long 对应的特有Stream
		List<Double> numbers = DoubleGenerator.generateDoubleList(10000, 1000);
		DoubleStream doubleStream = DoubleGenerator.generateStreamFromList(numbers);
		long count = doubleStream.parallel().count();
		System.out.println("doubleStream count:" + count);
		doubleStream = DoubleGenerator.generateStreamFromList(numbers);
		double sum = doubleStream.parallel().sum();
		doubleStream = DoubleGenerator.generateStreamFromList(numbers);
		double average = doubleStream.average().getAsDouble();
		doubleStream = DoubleGenerator.generateStreamFromList(numbers);
		double max = doubleStream.max().getAsDouble();
		doubleStream = DoubleGenerator.generateStreamFromList(numbers);
		double min = doubleStream.min().getAsDouble();
		System.out.println("sum:" + sum + ",average:" + average + ",max:" + max + ",min:" + min);

		// 第一种reduce方法（该方法需要符合结合律）
		List<Point> points = PointGenerator.generatorPointList(10000);
		Optional<Point> opt = points.parallelStream().reduce((p1, p2) -> {
			Point point = new Point();
			point.setX(p1.getX() + p2.getX());
			point.setY(p1.getY() + p2.getY());
			return point;
		});
		System.out.println("point:x:" + opt.get().getX() + "y:" + opt.get().getY());

		// 第二种reduce方法（两个参数：1同一律值，2结合律）
		List<Person> persons = PersonGenerator.generatePersonList(10000);
		Integer salaryTotal = persons.parallelStream().map(p -> p.getSalary()).reduce(0, (s1, s2) -> s1 + s2);
		System.out.println("SalaryTotal:" + salaryTotal);

		// 第三种reduce方法（三个参数：1同一律值，2转换运算，3结合律）
		Integer value = 0;
		value = persons.parallelStream().reduce(value, (n, p) -> p.getSalary() > 10000 ? n + 1 : n,
				(n1, n2) -> n1 + n2);
		System.out.println("薪资大于10000的人数共：" + value+"人");

	}

}

二、工厂类

package xyz.jangle.thread.test.n6_3.mapreduce;

import java.util.ArrayList;
import java.util.List;
import java.util.Random;
import java.util.stream.DoubleStream;
import java.util.stream.DoubleStream.Builder;

/**
 * 随机Double列表工厂
 * 
 * @author jangle
 * @email jangle@jangle.xyz
 * @time 2020年9月2日 下午8:33:34
 * 
 */
public class DoubleGenerator {

	/**
	 * 	构造一个Double列表
	 * 
	 * @author jangle
	 * @time 2020年9月2日 下午8:43:13
	 * @param size
	 * @param max
	 * @return
	 */
	public static List<Double> generateDoubleList(int size, int max) {
		Random r = new Random();
		ArrayList<Double> numbers = new ArrayList<Double>();
		for (int i = 0; i < size; i++) {
			double value = r.nextDouble() * max;
			numbers.add(value);
		}
		return numbers;
	}

	/**
	 *  使用DoubleStream.Builder 来构造DoubleStream
	 * 
	 * @author jangle
	 * @time 2020年9月2日 下午8:41:37
	 * @param list
	 * @return
	 */
	public static DoubleStream generateStreamFromList(List<Double> list) {
		Builder builder = DoubleStream.builder();
		for (Double number : list) {
			builder.add(number);
		}
		return builder.build();
	}

}

package xyz.jangle.thread.test.n6_3.mapreduce;

import java.util.ArrayList;
import java.util.List;
import java.util.Random;

/**
 *  坐标点 工厂
 * @author jangle
 * @email jangle@jangle.xyz
 * @time 2020年9月2日 下午8:45:11
 * 
 */
public class PointGenerator {

	public static List<Point> generatorPointList(int size) {

		List<Point> ret = new ArrayList<>();
		Random random = new Random();
		for (int i = 0; i < size; i++) {
			Point point = new Point();
			point.setX(random.nextDouble());
			point.setY(random.nextDouble());
			ret.add(point);
		}
		return ret;

	}

}

package xyz.jangle.thread.test.n6_3.mapreduce;

/**
 * 	坐标点 
 * @author jangle
 * @email jangle@jangle.xyz
 * @time 2020年9月2日 下午8:43:59
 * 
 */
public class Point {

	private double x, y;

	public double getX() {
		return x;
	}

	public void setX(double x) {
		this.x = x;
	}

	public double getY() {
		return y;
	}

	public void setY(double y) {
		this.y = y;
	}

}

三、人员工厂类

https://blog.csdn.net/Bof_jangle/article/details/108350870

四、执行结果

doubleStream count:10000
sum:5007948.66897734,average:500.794866897734,max:999.8224161683617,min:0.02690226598056622
point:x:5038.143851087914y:5036.672560286099
SalaryTotal:498853461
薪资大于10000的人数共：9031