WEB下载数据量大的EXCEL解决方案

最新推荐文章于 2024-03-19 15:47:43 发布
最新推荐文章于 2024-03-19 15:47:43 发布
阅读量633 收藏
点赞数
文章标签： 大数据 数据库 python
原文链接：https://my.oschina.net/chuibilong/blog/845053
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

思路:需要2次请求，第一次ajax请求把数据查询出来，按照1000条数据一个sheet，在后台生成临时文件，并把文件名称返回给web，第二次请求直接下载临时文件下载完成后，删除临时文件

代码如下web端：

// 导出
function cmd_toExcel() {
	$.messager.progress({ 
	    title: '请等待', 
	    msg: "<span style='color:green'>人生若只如初见</span>", 
	    text: '努力下载中.......' 
	});
	$.ajax({
		type : "post",
		url : cmd.toexport,
		data : formToObject('.searchBox'),
		dataType : "json",
		success : function(data) {
	     location.href = _ctx + "/rest/download/getfile?name=" + data + "&originFileName=" + "车辆统计.xls";
			$.messager.progress('close');
		}
	});
}

 后台服务端，生成临时文件接口：

/**
	 * 导出
	 * 
	 * @throws Exception
	 */
	@RequestMapping(value = "/toexport", method = { RequestMethod.POST, RequestMethod.GET })
	@ResponseBody
	public String export(HttpServletRequest request, String area, Integer trans, String org, String no,
			AnalysisDate analysisdate, @RequestParam(required = false, defaultValue = "VEH_ID") String sort,
			@RequestParam(required = false, defaultValue = "asc") String order) throws Exception {
		Pageable pageable = new PageRequest(0, 1000000, new Sort("asc".equalsIgnoreCase(order) ? Direction.ASC
				: Direction.DESC, sort, "VEH_ID"));
		List<Map<String, Object>> list = manager.statistics(area, trans, org, no, analysisdate,
				SpringSecurityUtils.getCurrentUserArea(), pageable).getContent();
		String title = "车辆统计表";
		String[] rowsName = new String[] {"序号", "道路运输证号", "车牌", "企业名称", "所属区域", "运输行业分类", "车辆类型", "上线时长", "断开时长", "报警次数"};
		List<Object[]> dataList = new ArrayList<Object[]>();
		Object[] objs = null;
		for (int i = 0; i < list.size(); i++) {
			Map<String, Object> man = list.get(i);
			objs = new Object[rowsName.length];
			objs[0] = i;
			objs[1] = man.get("RTPN");
			objs[2] = man.get("VEH_ID") == null ? "" : man.get("VEH_ID");
			objs[3] = man.get("ORG_NAME") == null ? "" : man.get("ORG_NAME");
			objs[4] = man.get("AREANAME");
			objs[5] = man.get("TRANS_TYPE");
			objs[6] = man.get("VTYPE");
			objs[7] = durationFormatter(((BigDecimal)man.get("ONLINE_TIME")).intValue());
			objs[8] = durationFormatter(((BigDecimal)man.get("OFF_TIME")).intValue());
			objs[9] = man.get("WARN_AMOUNT");
			dataList.add(objs);
		}
		ExportExcel ex = new ExportExcel(title, rowsName, dataList, request);
		return ex.export();
	}
package com.wttech.gnss.utils;

import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.UUID;

import javax.servlet.http.HttpServletRequest;

import org.apache.poi.hssf.usermodel.HSSFCell;
import org.apache.poi.hssf.usermodel.HSSFCellStyle;
import org.apache.poi.hssf.usermodel.HSSFFont;
import org.apache.poi.hssf.usermodel.HSSFRichTextString;
import org.apache.poi.hssf.usermodel.HSSFRow;
import org.apache.poi.hssf.usermodel.HSSFSheet;
import org.apache.poi.hssf.usermodel.HSSFWorkbook;
import org.apache.poi.hssf.util.CellRangeAddress;
import org.apache.poi.hssf.util.HSSFColor;

/**
 * 导出Excel公共方法
 * 
 *
 */
public class ExportExcel {

	// 显示的导出表的标题
	private String title;

	// 导出表的列名
	private String[] rowName;

	private List<Object[]> dataList = new ArrayList<Object[]>();

	HttpServletRequest request;

	// 构造方法，传入要导出的数据
	public ExportExcel(String title, String[] rowName, List<Object[]> dataList, HttpServletRequest request) {
		this.request = request;
		this.dataList = dataList;
		this.rowName = rowName;
		this.title = title;
	}

	/*
	 * 导出数据
	 */
	@SuppressWarnings("deprecation")
	public String export() throws Exception {
		String uuid = "/temp_" + UUID.randomUUID().toString() + ".xls";
		String filename = Properties.UPLOAD_ADDRESS + uuid;
		try {
			HSSFWorkbook workbook = new HSSFWorkbook(); // 创建工作簿对象
			int sheets = dataList.size() / 50000 + 1;
			for (int m = 0; m < sheets; m++) {
				HSSFSheet sheet = workbook.createSheet(title + m); // 创建工作表

				// 产生表格标题行
				HSSFRow rowm = sheet.createRow(0);
				HSSFCell cellTiltle = rowm.createCell(0);

				// sheet样式定义【getColumnTopStyle()/getStyle()均为自定义方法 - 在下面 - 可扩展】
				HSSFCellStyle columnTopStyle = this.getColumnTopStyle(workbook);// 获取列头样式对象
				HSSFCellStyle style = this.getStyle(workbook); // 单元格样式对象
				HSSFCellStyle headerStyle = getHeaderStyle(workbook);
				sheet.addMergedRegion(new CellRangeAddress(0, 1, 0, (rowName.length - 1)));
				cellTiltle.setCellStyle(headerStyle);
				cellTiltle.setCellValue(title);
				// 定义所需列数
				int columnNum = rowName.length;

				HSSFRow rowRowName = sheet.createRow(2); // 在索引3的位置创建行(最顶端的行开始的第3行)

				// 将列头设置到sheet的单元格中
				for (int n = 0; n < columnNum; n++) {
					HSSFCell cellRowName = rowRowName.createCell(n); // 创建列头对应个数的单元格
					cellRowName.setCellType(HSSFCell.CELL_TYPE_STRING); // 设置列头单元格的数据类型
					HSSFRichTextString text = new HSSFRichTextString(rowName[n]);
					cellRowName.setCellValue(text); // 设置列头单元格的值
					cellRowName.setCellStyle(columnTopStyle); // 设置列头单元格样式
				}

				// 将查询出的数据设置到sheet对应的单元格中
				List<Object[]> sub = dataList.subList(m * 50000, (m + 1) * 50000 < dataList.size() ? (m + 1) * 50000
						: dataList.size());
				for (int i = 0; i < sub.size(); i++) {

					Object[] obj = sub.get(i);// 遍历每个对象
					HSSFRow row = sheet.createRow(i + 3);// 创建所需的行数

					for (int j = 0; j < obj.length; j++) {
						HSSFCell cell = null; // 设置单元格的数据类型
						if (j == 0) {
							cell = row.createCell(j, HSSFCell.CELL_TYPE_NUMERIC);
							cell.setCellValue(i + 1);
						} else {
							cell = row.createCell(j, HSSFCell.CELL_TYPE_STRING);
							if (obj[j] != null) {
								cell.setCellValue(obj[j].toString()); // 设置单元格的值
							} else {
								cell.setCellValue(""); // 设置单元格的值
							}
						}
						cell.setCellStyle(style); // 设置单元格样式
					}
				}
				// 让列宽随着导出的列长自动适应
				for (int colNum = 0; colNum < columnNum; colNum++) {
					switch (colNum) {
					case 0:
						sheet.setColumnWidth(colNum, 6 * 256);
						break;
					default:
						sheet.setColumnWidth(colNum, 20 * 256);
						break;
					}

				}

			}
			if (workbook != null) {
				try {
					File file = new File(filename);
					// 以流的形式下载文件。
					BufferedOutputStream fis = new BufferedOutputStream(new FileOutputStream(file));

					workbook.write(fis);
					fis.flush();// 刷新流
					fis.close();// 关闭流
				} catch (IOException e) {
					e.printStackTrace();
				}
			}
		} catch (Exception e) {
			e.printStackTrace();
		}

		return uuid;
	}

	/*
	 * 表头单元格样式
	 */
	public HSSFCellStyle getHeaderStyle(HSSFWorkbook workbook) {

		// 设置字体
		HSSFFont font = workbook.createFont();
		// 设置字体大小
		font.setFontHeightInPoints((short) 11);
		// 字体加粗
		font.setBoldweight(HSSFFont.BOLDWEIGHT_BOLD);
		// 设置字体名字
		font.setFontName("Courier New");
		// 设置样式;
		HSSFCellStyle style = workbook.createCellStyle();
		// 在样式用应用设置的字体;
		style.setFont(font);
		// 设置自动换行;
		style.setWrapText(false);
		// 设置水平对齐的样式为居中对齐;
		style.setAlignment(HSSFCellStyle.ALIGN_CENTER);
		// 设置垂直对齐的样式为居中对齐;
		style.setVerticalAlignment(HSSFCellStyle.VERTICAL_CENTER);

		return style;

	}

	/*
	 * 表头单元格样式
	 */
	public HSSFCellStyle getRightStyle(HSSFWorkbook workbook) {

		// 设置字体
		HSSFFont font = workbook.createFont();
		// 设置字体大小
		font.setFontHeightInPoints((short) 11);
		// 字体加粗
		font.setBoldweight(HSSFFont.BOLDWEIGHT_BOLD);
		// 设置字体名字
		font.setFontName("Courier New");
		// 设置样式;
		HSSFCellStyle style = workbook.createCellStyle();
		// 在样式用应用设置的字体;
		style.setFont(font);
		// 设置自动换行;
		style.setWrapText(false);
		// 设置水平对齐的样式为居中对齐;
		style.setAlignment(HSSFCellStyle.ALIGN_RIGHT);
		// 设置垂直对齐的样式为居中对齐;
		style.setVerticalAlignment(HSSFCellStyle.VERTICAL_CENTER);

		return style;

	}

	/*
	 * 列头单元格样式
	 */
	public HSSFCellStyle getColumnTopStyle(HSSFWorkbook workbook) {

		// 设置字体
		HSSFFont font = workbook.createFont();
		// 设置字体大小
		font.setFontHeightInPoints((short) 11);
		// 字体加粗
		font.setBoldweight(HSSFFont.BOLDWEIGHT_BOLD);
		// 设置字体名字
		font.setFontName("Courier New");
		// 设置样式;
		HSSFCellStyle style = workbook.createCellStyle();
		// 设置底边框;
		style.setBorderBottom(HSSFCellStyle.BORDER_THIN);
		// 设置底边框颜色;
		style.setBottomBorderColor(HSSFColor.BLACK.index);
		// 设置左边框;
		style.setBorderLeft(HSSFCellStyle.BORDER_THIN);
		// 设置左边框颜色;
		style.setLeftBorderColor(HSSFColor.BLACK.index);
		// 设置右边框;
		style.setBorderRight(HSSFCellStyle.BORDER_THIN);
		// 设置右边框颜色;
		style.setRightBorderColor(HSSFColor.BLACK.index);
		// 设置顶边框;
		style.setBorderTop(HSSFCellStyle.BORDER_THIN);
		// 设置顶边框颜色;
		style.setTopBorderColor(HSSFColor.BLACK.index);
		// 在样式用应用设置的字体;
		style.setFont(font);
		// 设置自动换行;
		style.setWrapText(false);
		// 设置水平对齐的样式为居中对齐;
		style.setAlignment(HSSFCellStyle.ALIGN_CENTER);
		// 设置垂直对齐的样式为居中对齐;
		style.setVerticalAlignment(HSSFCellStyle.VERTICAL_CENTER);

		return style;

	}

	/*
	 * 表头单元格样式
	 */
	public HSSFCellStyle getFootStyle(HSSFWorkbook workbook) {

		// 设置字体
		HSSFFont font = workbook.createFont();
		// 设置字体大小
		font.setFontHeightInPoints((short) 11);
		// 字体加粗
		font.setBoldweight(HSSFFont.BOLDWEIGHT_BOLD);
		// 设置字体名字
		font.setFontName("Courier New");
		// 设置样式;
		HSSFCellStyle style = workbook.createCellStyle();
		// 在样式用应用设置的字体;
		style.setFont(font);
		// 设置自动换行;
		style.setWrapText(false);
		// 设置水平对齐的样式为居中对齐;
		style.setAlignment(HSSFCellStyle.ALIGN_RIGHT);
		// 设置垂直对齐的样式为居中对齐;
		style.setVerticalAlignment(HSSFCellStyle.VERTICAL_CENTER);

		return style;

	}

	/*
	 * 列数据信息单元格样式
	 */
	public HSSFCellStyle getStyle(HSSFWorkbook workbook) {
		// 设置字体
		HSSFFont font = workbook.createFont();
		// 设置字体大小
		// font.setFontHeightInPoints((short)10);
		// 字体加粗
		// font.setBoldweight(HSSFFont.BOLDWEIGHT_BOLD);
		// 设置字体名字
		font.setFontName("Courier New");
		// 设置样式;
		HSSFCellStyle style = workbook.createCellStyle();
		// 设置底边框;
		style.setBorderBottom(HSSFCellStyle.BORDER_THIN);
		// 设置底边框颜色;
		style.setBottomBorderColor(HSSFColor.BLACK.index);
		// 设置左边框;
		style.setBorderLeft(HSSFCellStyle.BORDER_THIN);
		// 设置左边框颜色;
		style.setLeftBorderColor(HSSFColor.BLACK.index);
		// 设置右边框;
		style.setBorderRight(HSSFCellStyle.BORDER_THIN);
		// 设置右边框颜色;
		style.setRightBorderColor(HSSFColor.BLACK.index);
		// 设置顶边框;
		style.setBorderTop(HSSFCellStyle.BORDER_THIN);
		// 设置顶边框颜色;
		style.setTopBorderColor(HSSFColor.BLACK.index);
		// 在样式用应用设置的字体;
		style.setFont(font);
		// 设置自动换行;
		style.setWrapText(false);
		// 设置水平对齐的样式为居中对齐;
		style.setAlignment(HSSFCellStyle.ALIGN_CENTER);
		// 设置垂直对齐的样式为居中对齐;
		style.setVerticalAlignment(HSSFCellStyle.VERTICAL_CENTER);

		return style;

	}
}

接口2下载临时文件，并删除

@RequestMapping(value = "/getfile")
	@ResponseBody
	public void getfile(HttpServletRequest request,HttpServletResponse response,String name,String originFileName) throws ParseException {
		String path =  Properties.UPLOAD_ADDRESS + name ;
		File file = new File(path);
		// 以流的形式下载文件。
		InputStream fis;
		try {
			fis = new BufferedInputStream(new FileInputStream(path));
			
			byte[] buffer = new byte[fis.available()];
			fis.read(buffer);
			fis.close();
			response.reset();
			response.addHeader("Content-Disposition", "attachment;filename=" +URLEncoder.encode(originFileName, "UTF-8"));
			response.setCharacterEncoding("utf-8");
			response.addHeader("Content-Length", "" + file.length());
			OutputStream toClient = new BufferedOutputStream(response.getOutputStream());
			response.setContentType("application/octet-stream");
			
			toClient.write(buffer);
			toClient.flush();
			toClient.close();
			if (name.contains("temp")) {
				file.delete();
			}
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
	}

 

转载于:https://my.oschina.net/chuibilong/blog/845053

weixin_34232363
关注
IE浏览器下载excel数据量较大时第一次下载失败
dashuaiwang1的博客
07-19 2059
最近碰到一个很奇怪的问题，就是IE下载excel在数据量超过300K左右时，第一次下载会失败。我后台用的下载插件是Apose，感觉这个问题如果用NPOI的话导出应该就没什么问题，但是由于项目时间问题，只能寻求其他解决方案。有两种解决方案： 1，         string URL = Request.Url.Host.ToString();             workbook.Save
EXCEL大数据量导出的解决方案
51yunOA
03-13 736
EXCEL大数据量导出的解决方案 将web页面上显示的报表导出到excel文件里是一种很常见的需求。然而，当数据量较大的情况下，excel本身的支持最多65535行数据的问题便凸显出来。下面就给出大数据量导出到excel的解决方 案。 首先，对于数据超过了65535行的问题，很自然的就会想到将整个数据分块，利用excel的多sheet页的功能，将超出65535行后的数据写入到下一个sheet页...
Web导出Excel（可以运行的）
09-06
Web导出Excel（可以运行的），包含标题的字体大小，颜色，字体，等各样漂亮的样式，简单易懂，带下载功能。
大数据量下载
lyh20081984
04-18 324
最近几天终于把项目里面的大数据量下载功能开发完成了，特地做一下笔记，归纳一下思路，如果有同行们路过，不访在看了 文章之后发表一下自己的看法，大家相互参考，共同进步。 要点：大数据、JDBC、IO、XML、EXCEL 一：大数据： 项目的基础就是面对海量的大数据操作，因此以合理的方式将这些有效数据进行适当的处理并加以展现就显得成为重要，单单 针对数...
下载量过大超过服务器的处理能力的解决方案
IT_xxeedd的博客
04-12 1134
分组下载。1.将数据分组2.分组下载
前端通过js导出报表到excel（如果数据量很大的话，建议不要前端自己导出数据）
好人一生平安
06-21 3289
function tableToExcel(title,datalist){//title 列名 datalist 需要导出的json文件 var jsonData=datalist; //列标题，逗号隔开，每一个逗号就是隔开一个单元格 //var str = `1,2,3\n`; var str = title+"\n"; //增加\t为了不让表格显...
java web开发中大量数据导出Excel超时(504)问题解决
08-30
5. 调整服务器配置：增加Web服务器或应用服务器的超时限制，但这只是临时解决方案，可能会影响到其他正常请求。 6. 使用缓存或中间结果存储：如果数据处理复杂，可以先将数据处理成中间结果，存储在数据库或文件...
Ajax请求在数据量大的时候出现超时的解决方法
12-09
因此，对于大数据量的处理，优化数据库查询是更为根本的解决方案。这可能包括但不限于以下几点： - **优化SQL查询**：确保查询语句是最优的，避免全表扫描，合理使用索引。 - **分页加载**：不要一次性加载所有数据...
一个基于Web的轻量级大数据处理与可视化工具.pdf
08-15
在大数据时代背景下，...总之，本文介绍的基于Web的轻量级大数据处理与可视化工具为科研人员提供了一种创新的解决方案，使得他们能够以较低的学习门槛，实现高效的大数据处理和可视化，从而更好地支持其日常研究工作。
用Web将数据从Excel导入到SQL Server中遇到的问题及其解决方法.pdf
09-19
当数据量较大时，单纯依靠表单提交的方式会变得效率低下，因此需要设计批量导入功能。Excel因其易用性，经常成为数据采集的首选工具。通常的做法是为用户提供预设格式和校验规则的Excel模板，用户根据模板填写数据并...
Web大数据量页面优化实践
04-07
NULL 博文链接：https://jiangyongyuan.iteye.com/blog/1574637
hbase海量数据的全量导入方法
05-10
hbase海量数据的全量导入方法，大数据导入。
前端下载超大文件的完整方案
最新发布
heyYouU的博客
03-19 2597
前端下载大文件落地方案。串行分片下载，暂停、继续、取消下载，以及IndexedDB本地存储使用的注意事项。
excel导出单元格文字内容超长
qq_44798321的博客
05-24 1032
easyExcel导出单元格内容太长覆盖其他单元格
转 大数据量下载解决方案
lyoydh的专栏
09-07 625
<br />]<br /> <br />问题描述：               <br />最近遇到一个很棘手的问题，信用卡网上支付的交易越来越多了，日平均交易数量很大，并且这个数据还处在一个上升的阶段，但这仅仅是个开始。我们这边的系统负责给柜员提供一系列报表，数据量比较大，时不时的会time out,或者会om掉。<br />原因分析：<br />Time out超时现象：这个是我们系统跨另外一个系统获取数据，我们所用技术的框架有个超时设置，即一般不能超过60秒。这样设置也合情合理，换作我是客户，我也不愿
大数据量下载解决方案
06-24 1711
<br />问题描述：               <br />最近遇到一个很棘手的问题，信用卡网上支付的交易越来越多了，日平均交易数量很大，并且这个数据还处在一个上升的阶段，但这仅仅是个开始。我们这边的系统负责给柜员提供一系列报表，数据量比较大，时不时的会time out,或者会om掉。<br />原因分析：<br />Time out超时现象：这个是我们系统跨另外一个系统获取数据，我们所用技术的框架有个超时设置，即一般不能超过60秒。这样设置也合情合理，换作我是客户，我也不愿意在页面提交个请求后，要等很
Java后台实现Excel文件下载
weixin_50419828的博客
11-10 1万+
Java实现下载excel依赖使用的是poi实现目的请求HSSFWorkbook方法setResponseHeader方法fypclXls方法实现整个下载过程 依赖 使用的是poi 开发中经常会设计到excel的处理，如导出Excel，导入Excel到数据库中，操作Excel目前有两个框架，一个是apache 的poi， 另一个是 Java Excel Apache POI 简介是用Java编写的免费开源的跨平台的 Java API，Apache POI提供API给Java程式对Microsoft Offi
JavaWEB_POI导出大量数据excel（50万左右）
热门推荐
迎难而上
06-05 2万+
POI 对大数据量的导出是一个难点，这里博主总结了两种处理方式： 方式一，使用高版本的POI，具有内存自动释放的特点。 方式二，将数据导出到多个Excel中，并进行压缩处理，上传到服务器中。 方式一： POI之前的版本不支持大数据量处理，如果数据过多则经常报OOM错误，有时候调整JVM大小效果也
Web环境下Excel到SQL Server数据导入问题与解决方案
"Web方式下将数据从Excel导入到SQL Server中遇到的问题及其解决方法" 在Web环境下，将数据从Excel导入到Microsoft SQL ...在实际应用中，根据项目需求和环境调整这些解决方案，可以构建出高效、安全的数据导入系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值