Fork/Join 实战中的实例

最新推荐文章于 2022-04-04 16:08:34 发布
最新推荐文章于 2022-04-04 16:08:34 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： java后台开发 文章标签： fork join 多线程 java jdk7 task
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XingampampYue/article/details/73294384
版权

fork/join到底有多强大？废话不多说，直接看栗子吧

public List<VoucherInfoVo> calculationVoucherPay(String modelNo,SingletonScrollBar singletonScrollBar) throws Exception {
		CwVoucherModel cwVoucherModel = null;
		CwVoucherModelExample exampleModel = new CwVoucherModelExample();
		exampleModel.createCriteria().andModelNoEqualTo(modelNo).andIsDeleteEqualTo((short) 0);
		;
		List<CwVoucherModel> listModel = cwVoucherModelMapper.selectByExample(exampleModel);
		if (listModel != null && listModel.size() > 0) {
			cwVoucherModel = listModel.get(0);
		}
		singletonScrollBar.setNode(cwVoucherModel.getModelName());
		// 首先找出对应的模板组信息
		CwVoucherModelInfoExample example = new CwVoucherModelInfoExample();
		example.createCriteria().andModelNoEqualTo(modelNo).andIsDeleteEqualTo((short) 0);
		example.setOrderByClause("id asc");
		//获取所有的城市编码
		 Map<String,String> cityCode=ListChangeToMap(cwVoucherCityCodeInfoMapper.findAllCityCode());
		// 获取记账日期
		List<VoucherResultVo> dueDates = cwVoucherPayResultMapper.getAccountDate();
		String[] accountDate = null;
		if (dueDates.size() > 0) {
			accountDate = TimeUtil.calculateTime(dueDates.get(0).getDueDate());
		}else {
			return null;
		}
		List<CwVoucherModelInfo> list = cwVoucherModelInfoMapper.selectByExample(example);
		List<VoucherInfoVo> resutList = new ArrayList<VoucherInfoVo>();


		int count = 0;// 分录号
		if (list != null) {
			singletonScrollBar.setTemp(list.size());
			ForkJoinPool forkJoinPool = new ForkJoinPool();
			CountTaskPay task = new CountTaskPay(accountDate, 0,list.size() - 1, list, count, singletonScrollBar,cityCode);
			Future<List<VoucherInfoVo>> future = forkJoinPool.submit(task);
			resutList = future.get();
		}
		// 生成凭证所需bean类 返回
		return resutList;
	}

         这是统计一个凭证信息的,每一个凭证信息都需要去数据库就行sql查询，表的数据大小大概在20W左右，每一个凭证查询的条件至少在 3个以上，要命的是用到了sum,一个凭证模板里面可能包含10000个左右的sql查询合统计，如果在没有用到fork/join这么一个框架去跑的话，我也尝试用一般的for循环去统计，而线程池又不能很好地控制统计每一个sql结果(就是最后我要得到的那个resultList)，单独用for去做这件事，我统计了一下，大概用时 10分钟左右，当时就石化了，这么结果怎么能接受，而我也仔细研究过所写的sql,sql语句没有什么问题，关键是查询，当然也不能给整个数据放到内存里面去，这样内存会爆炸的。于是就尝试用fork/join框架来跑整个结果了，结果很让我吃鲸，整个用时1分30秒左右，对于这样一个大数据统计加导出，这个用时还是能接受的。下面再看看fork/join具体是怎么工作的


@SuppressWarnings("serial")
	class CountTaskFack extends RecursiveTask<List<VoucherInfoVo>> {
		private static final int threshold = 2;// 阈值
		private String[] accountDate;
		private int start;
		private int end;
		private int count;
		private SingletonScrollBar singletonScrollBar;
		private List<CwVoucherModelInfo> listModel;
		private Map<String,String> cityCode;

		public CountTaskFack(String[] accountDate, int start, int end,
				List<CwVoucherModelInfo> list, int count,
				SingletonScrollBar singletonScrollBar,Map<String,String> cityCode) {

			this.accountDate = accountDate;
			this.start = start;
			this.end = end;
			this.listModel = list;
			this.count = count;
			this.singletonScrollBar = singletonScrollBar;
			this.cityCode=cityCode;
		}

		@Override
		protected List<VoucherInfoVo> compute() {
			DecimalFormat df = new DecimalFormat("######0.00");
			List<VoucherInfoVo> list = new ArrayList<>();
			boolean compute = (end - start) <= threshold;
			if (compute) {
				for (int i = start; i <= end; i++) {
					
					CwVoucherModelInfo real = listModel.get(i);
					singletonScrollBar.setCurrentTask(singletonScrollBar.getCurrentTask() + 1);
					singletonScrollBar.setCount(i + 1);
					
					VoucherInfoVo vo = new VoucherInfoVo();
					vo.setBusinessAccounting1(VoucherServerUtil.getRealName(real.getAccountingAux1()));
					vo.setCode1(VoucherServerUtil.getCode(real.getAccountingAux1(), real, cityCode,""));
					vo.setName1(VoucherServerUtil.getName(real.getAccountingAux1(), real,""));
					
					vo.setBusinessAccounting2(VoucherServerUtil.getRealName(real.getAccountingAux2()));
					vo.setCode2(VoucherServerUtil.getCode(real.getAccountingAux2(), real, cityCode,""));
					vo.setName2(VoucherServerUtil.getName(real.getAccountingAux2(), real,""));
					
					vo.setBusinessAccounting3(VoucherServerUtil.getRealName(real.getAccountingAux3()));
					vo.setCode3(VoucherServerUtil.getCode(real.getAccountingAux3(), real, cityCode,""));
					vo.setName3(VoucherServerUtil.getName(real.getAccountingAux3(), real,""));
					
					vo.setAccountDate(accountDate[0]);
					vo.setAccountingGap(accountDate[2]);
					vo.setVoucherNo(accountDate[3]);
					vo.setBusinessDate(accountDate[0]);
					vo.setAuxiliaryAccountingDate(accountDate[0]);
					vo.setExpireDate(accountDate[0]);
					vo.setEntryNo(i + 1 + "");
					vo.setAbstractInfo(real.getAccountingAbs());
					vo.setAuxiliaryAbstractInfo(real.getAccountingAbs());
					vo.setCompany(real.getAccountNum());
					vo.setSubjectInfo(real.getSubjectNum());
					// 然后根据信息进行分组统计
					FactAccountVo conditions = getFactSqlConditionResult(real);
					
					if (conditions.getCitys().size() > 0) {
						int cityCount = 0;
						for (String city : conditions.getCitys()) {
							cityCount++;
							if (cityCount==conditions.getCitys().size()) {//统计每一次城市循环 增加滚动条准确度
								if (Double.valueOf(df.format(((double) (i + 1) / (double) singletonScrollBar.getTemp()) * 100)) >= singletonScrollBar.getPercentage()) {
									singletonScrollBar.setPercentage(Double.valueOf(df.format(((double) (i + 1) / (double) singletonScrollBar.getTemp()) * 100)));
								}
							}
							VoucherInfoVo voc = new VoucherInfoVo();
							voc.setBusinessAccounting1(VoucherServerUtil.getRealName(real.getAccountingAux1()));
							voc.setCode1(VoucherServerUtil.getCode(real.getAccountingAux1(), real, cityCode,city));
							voc.setName1(VoucherServerUtil.getName(real.getAccountingAux1(), real,city));
							
							voc.setBusinessAccounting2(VoucherServerUtil.getRealName(real.getAccountingAux2()));
							voc.setCode2(VoucherServerUtil.getCode(real.getAccountingAux2(), real, cityCode,city));
							voc.setName2(VoucherServerUtil.getName(real.getAccountingAux2(), real,city));
							
							voc.setBusinessAccounting3(VoucherServerUtil.getRealName(real.getAccountingAux3()));
							voc.setCode3(VoucherServerUtil.getCode(real.getAccountingAux3(), real, cityCode,city));
							voc.setName3(VoucherServerUtil.getName(real.getAccountingAux3(), real,city));
							
							voc.setAccountDate(accountDate[0]);
							voc.setBusinessDate(accountDate[0]);
							voc.setVoucherNo(accountDate[3]);
							voc.setAccountingGap(accountDate[2]);
							voc.setAuxiliaryAccountingDate(accountDate[0]);
							voc.setExpireDate(accountDate[0]);
							voc.setEntryNo(i + 1 + "");
							voc.setAbstractInfo(real.getAccountingAbs());
							voc.setAuxiliaryAbstractInfo(real.getAccountingAbs());
							voc.setCompany(real.getAccountNum());
							voc.setSubjectInfo(real.getSubjectNum());

							SelectConditionVo record = new SelectConditionVo();
							record.setCity(city);
							record.setDate(accountDate[4]);
							record.setSum(getFactSqlSumResult(real));
							record.setFactAccountVo(conditions);
							singletonScrollBar.setCurrentNode(JSON.toJSONString(record));
							VoucherResultVo result = cwVoucherFactResultMapper.getFactSheet(record);
							logger.info("count=" + i + 1 + "城市结果："
									+ JSON.toJSONString(result));
							if (result == null|| result.getTotalfee() == null|| result.getTotalfee().equals(new BigDecimal(0))) {
								cityCount++;
								if (cityCount == conditions.getCitys().size()) {// 如果所有城市都没有统计出来值
																				// 那么分录号减一
									singletonScrollBar.getTaskCount().add(i + 1);
									count--;
								}
								continue;
							}
							voc.setTotalFee(result == null ? "" : result.getTotalfee() == null ? "" : result.getTotalfee() + "");
							if (!StringUtil.checkIsNull(real.getAccountDir())) {
								if (real.getAccountDir().equals("借方")) {
									voc.setDebtorMoney(result == null ? "": result.getTotalfee() == null ? "": result.getTotalfee() + "");
									voc.setDirection("1");
								} else {
									voc.setDirection("0");
									voc.setLenderMoney(result == null ? "": result.getTotalfee() == null ? "": result.getTotalfee() + "");
								}
							}
							list.add(voc);
						}
					} else {
						if (Double.valueOf(df.format(((double) (i + 1) / (double) singletonScrollBar.getTemp()) * 100)) >= singletonScrollBar.getPercentage()) {
							singletonScrollBar.setPercentage(Double.valueOf(df.format(((double) (i + 1) / (double) singletonScrollBar.getTemp()) * 100)));
						}
						SelectConditionVo record = new SelectConditionVo();
						record.setSum(getFactSqlSumResult(real));
						record.setFactAccountVo(conditions);
						record.setDate(accountDate[4]);
						singletonScrollBar.setCurrentNode(JSON.toJSONString(record));
						VoucherResultVo result = cwVoucherFactResultMapper.getFactSheet(record);
						if (result == null|| result.getTotalfee() == null|| result.getTotalfee().equals(new BigDecimal(0))) {
							count--;
							singletonScrollBar.getTaskCount().add(i + 1);
							continue;
						}
						vo.setTotalFee(result == null ? "" : result.getTotalfee() == null ? "" : result.getTotalfee() + "");
						if (!StringUtil.checkIsNull(real.getAccountDir())) {
							if (real.getAccountDir().equals("借方")) {
								vo.setDebtorMoney(result == null ? "" : result.getTotalfee() == null ? "" : result.getTotalfee() + "");
								vo.setDirection("1");
							} else {
								vo.setDirection("0");
								vo.setLenderMoney(result == null ? "" : result.getTotalfee() == null ? "" : result.getTotalfee() + "");
							}
						}
						list.add(vo);
					}
				}
			} else {
				// 任务大于阈值，那么就分裂成两个子任务计算
				int middle = (start + end) / 2;
				CountTaskFack leftTask = new CountTaskFack(accountDate, start,
						middle, listModel, count, singletonScrollBar,cityCode);
				CountTaskFack rightTask = new CountTaskFack(accountDate,
						middle + 1, end, listModel, count, singletonScrollBar,cityCode);
				// 执行子任务
				leftTask.fork();
				rightTask.fork();
				// 等待子任务执行完毕，并得到其结果
				List<VoucherInfoVo> left = leftTask.join();
				List<VoucherInfoVo> right = rightTask.join();
				list.addAll(left);
				list.addAll(right);
			}
			return list;
		}
	}




























































淡云的香味
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Fork/Join 案例
qq_29026539的博客
04-22 418
ForkJoin是Java7提供的原生多线程并行处理框架，其基本思想是将大任务分割成小任务，最后将小任务聚合起来得到结果。 Fork/Join使用两个类完成以上两件事情： 1.ForkJoinTask: 我们要使用ForkJoin框架，必须首先创建一个ForkJoin任务。它提供在任务中执行fork()和join()的操作机制，通常我们不直接继承ForkjoinTask类，只需要直接继承其子类...
Fork/Join例子
04-09
Fork/Join例子
Fork/Join实例
cpf2016的专栏
12-02 435
（1）含返回值            问题：1+2+...+100           1.思路              分解为1+2,3+4,，...99+100，然后对这50个结果进行求和           2.任务实现 import java.util.concurrent.ExecutionException; import java.util.concurrent.Re
ForkJoin小实例
weixin_49416704的博客
12-08 421
话不多少直接上代码，数据密度越大，这种多线程的速度越明显。 package main.hello; import java.util.Random; import java.util.concurrent.ForkJoinPool; import java.util.concurrent.RecursiveTask; /** * @ClassName ForkJoin * @Description //TODO * @Author bzx * @Date 2021/12/8 16:18 *
ForkJoin框架实战
漂泊的码农
08-25 602
今天又是周末，公司同样开了空调，因此趁这个机会记录下ForkJoin框架的使用记录 public class ComputeTask extends RecursiveTask&lt;Integer&gt; { private static final int THRESHOLD = 100 * 1000; private List&lt;String&gt; list; ...
《Java7并发编程实战手册》书中实例代码
11-12
1. **Fork/Join框架**：Java 7引入了Fork/Join框架，这是一个用于并行执行任务的高级框架，基于工作窃取算法。它将大任务拆分为小任务，并在多个线程间分发，提高了计算密集型任务的执行效率。例如，`java.util....
Java7编程实战手册代码中文
08-10
1. **Fork/Join框架**：Java 7引入了Fork/Join框架，它是一种基于工作窃取算法的并行计算模型。开发者可以创建`ForkJoinPool`，通过`ForkJoinTask`的子类（如`RecursiveAction`或`RecursiveTask`）来实现任务的拆分...
Linux下C编程实战——源代码.7z
05-14
在Linux环境下进行C编程是一种非常常见且强大的技术实践。...这个“Linux下C编程实战——源代码”压缩包可能包含了这些概念的实例代码，供学习者参考和练习。记得动手实践，结合源代码加深理解和应用。
java7并发编程实战手册+源码
06-14
《Java 7并发编程实战手册》是一本深入探讨Java多线程编程的宝贵资源，它为读者提供了丰富的实例，帮助开发者掌握在Java 7环境中进行高效并发编程的关键技能。本书涵盖了从基本概念到高级特性的全方位知识，是提升...
ForkJoin框架示例（二）
岁月静好
10-26 397
package com.zzj.concurrency;import java.io.IOException; import java.util.Random; import java.util.concurrent.ForkJoinPool; import java.util.concurrent.RecursiveTask;/** * 计算一千万个1到100之间的数值之和 * @author
ForkJoin 应用实战
qq_29434571的博客
05-15 335
package xxx.acceptance.controller; import com.alibaba.dubbo.config.annotation.Service; import com.alibaba.fastjson.JSON; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.beans.factory.annotation.Value; import org.spring.
ForkJoin 案例
海阔天空 不再犹豫 谁共我闯荡
12-19 95
简介 ForkJoin 通俗来讲就是把一件事情拆分成若干个递归的小事情，并且框架提供多线程形式并发完成多个小事情后合并结果，完成大事情 小代码实例 /** * 测试客户端 * * @author ljs.song * @date 2017-11-07 17:50 */ public class Test { public static ...
fork join例子说明
killalllsd的专栏
11-30 202
[code="java"] public static class SelectMaxProblem { private final int[] numbers; private final int start; private final int end; public final int size; ...
ForkJoin的使用案例
dwhhome的博客
02-25 782
  使用ForkJoin计算1-100的和： public class ForkJoinTaskExample extends RecursiveTask&lt;Integer&gt; { public static final int threshold = 2; private int start; private int end; public Fo...
ForkJoin框架示例（一）
岁月静好
10-26 657
package com.zzj.concurrency;import java.io.IOException; import java.util.Random; import java.util.concurrent.ForkJoinPool; import java.util.concurrent.RecursiveAction;/** * 计算一千万个1到100之间的数值之和，此示例使用没有返
fork-join 入门例子
每天积累一点，一年后你会发现，自己变化很大
09-04 763
Fork就是一个不断分枝的过程，在当前任务的基础上长出n多个子任务。 Join是一个不断等待，获取任务执行结果的过程。
Fork/Join框架简单计算案例
weixin_43626356的博客
04-04 441
package java8.day03.forkJoin01; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsConstructor; import java.util.concurrent.RecursiveTask; @Data @AllArgsConstructor @NoArgsConstructor public class ForkJoinCalculate extends Recursi
JAVA_多线程fork/join_实战
weixin_45020286的博客
07-25 209
一.创建线程的3种方式 继承Thread类重写run方法,实际上实现了Runable接口 public class Main { public static void main(String[] args) throws ExecutionException, InterruptedException { new Thread() { @Override public void run() { f
Java 7并发编程实战：60个高效实例解析
4. **Fork/Join框架**：阐述了并行计算中的Fork/Join模式，如何利用此框架进行任务分割和合并，提升多核处理器的性能。 5. **并发集合**：展示了Java 7提供的Concurrent Collections，如ConcurrentHashMap、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值