大数据量处理以及结果导出技术方案

1 方案

（1）数据处理接口
采用异步处理数据，快速返回一个redis的key。异步处理结果以excel等文件形式存储于oss等文件存储系统中，并以接口返回的key作为redis的key，oss下载地址作为值将下载地址存储于redis中，设置一定的过期时间。

注意：需要上传的文件较大时，在不超过oss单个文件大小限制的条件下，将待传文件分成多个小文件上传到oss。

（2）结果导出接口
通过数据处理接口返回的key获取下载地址。页面直接访问该链接地址获取处理结果并自动导出。

2 示例

示例代码如下所示。

/**
 * 数据处理接口
 */
@GetMapping("/testDealData")
@ResponseBody
public WebResponse<String> testDealData() {
	try {
		String resultKey = IdUtil.getSnowflakeNextIdStr();
		CommonThreadPoolUtil.submitTask("数据处理", () -> manualDealDataService.testDealData(resultKey));
		return WebResponse.success(resultKey);
	} catch (Exception e) {
		log.error("数据处理失败。", e);
		return WebResponse.error("数据处理失败");
	}
}

/**
 * 结果导出接口
 */
@GetMapping("/downloadResult/{resultKey}")
public String downloadResult(@PathVariable("resultKey") String resultKey) {
	return (String) RedisUtil.get(resultKey);
}