NO.17 [excel]POI3.2、JXL2.4 解析Excel性能对比实验（含Excel读取、写入工具，JXL与POI实现均有）

最新推荐文章于 2021-03-19 11:01:49 发布

amosryan

最新推荐文章于 2021-03-19 11:01:49 发布

阅读量4.2k

点赞数

分类专栏：鱼2.工具/三方组件使用 AR Tools2.Java系列文章标签： excel 工具 exception string 测试 null

本文链接：https://blog.csdn.net/amosryan/article/details/5412340

版权

AR Tools2.Java系列同时被 2 个专栏收录

16 篇文章 0 订阅

订阅专栏

鱼2.工具/三方组件使用

14 篇文章 0 订阅

订阅专栏

对于Excel解析，之前对POI还算比较熟悉，最近才知还有个JXL工具，不免对两者的解析性能产生兴趣，上网搜了一篇文章，最后结论是POI较优，本着小马过河的精神，亲自一试（包括自写工具及参考文章中的代码），竟得出不同结论：

当数据量较大时（超过1万行），无论是时间消耗还是内存消耗，JXL均优于POI。

根据最终的测试结果，估计得出来不同的结论可能是采用的版本不同所致（还没研究JXL及POI的源码）。

具体情况请参见此文及相关下方我测试的Java源码及测试数据:

http://blog.csdn.net/haotangyu/archive/2009/12/03/4931670.aspx

我的测试环境：
jxl-2.4.2.jar
poi-3.1.jar
MyEclipse8.0 Run JVM设置：-Xms256m -Xmx512m
机器：4G、P7

分别准备了1千、1万、5万行的Excel，各为58列。(此测试代码稍加整理即可做为Excel导入工具类)

/* * 2010-03-23：针对POI、JXL做性能测试，对于1W行以上的数据量，JXL无论从时间消耗还内存消耗均优于POI */ package unit; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.text.DecimalFormat; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Date; import java.util.List; import jxl.Cell; import jxl.Sheet; import jxl.Workbook; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.poi.hssf.usermodel.HSSFCell; import org.apache.poi.hssf.usermodel.HSSFCellStyle; import org.apache.poi.hssf.usermodel.HSSFDateUtil; import org.apache.poi.hssf.usermodel.HSSFFont; import org.apache.poi.hssf.usermodel.HSSFRow; import org.apache.poi.hssf.usermodel.HSSFSheet; import org.apache.poi.hssf.usermodel.HSSFWorkbook; import org.apache.poi.poifs.filesystem.POIFSFileSystem; /** * * @author amosryan * @version 2.0 */ // HSSFWorkbook excell 文档对象介绍 // HSSFSheet excell的表单 // HSSFRow excell的行 // HSSFCell excell的格子单元 // HSSFFont excell字体 // HSSFName 名称 // HSSFDataFormat 日期格式 // 在poi1.7中才有以下2项： // HSSFHeader sheet头 // HSSFFooter sheet尾 // 和这个样式 // HSSFCellStyle cell样式 // 辅助操作包括 // HSSFDateUtil 日期 // HSSFPrintSetup 打印 // HSSFErrorConstants 错误信息表 public class TestExcelUtils { private static Log logger = LogFactory.getLog(TestExcelUtils.class); /** * 从excel表中读数据，返回一个List数组(默认忽略第1行) * * @return */ // public static List[] readExcel(File excelFile) { // return readExcel(excelFile, 1); // } /** * 使用POI从excel表中读数据，返回一个List<String[]>[] * * @return */ @SuppressWarnings("unchecked") public static List<String[]>[] readExcelByPOI(File excelFile, int ignoredRows) { List<String[]>[] excelData = null; FileInputStream fileInputStream = null; try { long st = System.currentTimeMillis(); fileInputStream = new FileInputStream(excelFile); POIFSFileSystem poifs = new POIFSFileSystem(fileInputStream); HSSFWorkbook wb = new HSSFWorkbook(poifs); long et = System.currentTimeMillis(); System.out.println("加载消耗时间：" + (et - st) + "ms"); int sheetCount = wb.getNumberOfSheets(); excelData = new ArrayList[sheetCount]; for (int i = 0; i < sheetCount; i++) { excelData[i] = new ArrayList<String[]>(); HSSFSheet sheet = wb.getSheetAt(i); List<String[]> sheetData = new ArrayList<String[]>(); outter: for (int j = sheet.getFirstRowNum() + ignoredRows; j <= sheet .getLastRowNum(); j++) { // 根据第一行Title的列数设置默认每行的数据值数 int columns = sheet.getRow(0).getLastCellNum(); HSSFRow row = sheet.getRow(j); String[] rowData = new String[columns]; for (short k = 0; k <= row.getLastCellNum() && k < columns; k++) { String value = ""; HSSFCell cell = row.getCell(k); // 判断excel单元格类型 if (cell != null) { // 注意：一定要设成这个，否则可能会出现乱码 cell.setEncoding(HSSFCell.ENCODING_UTF_16); switch (cell.getCellType()) { case HSSFCell.CELL_TYPE_STRING: value = cell.getStringCellValue(); break; case HSSFCell.CELL_TYPE_NUMERIC: if (HSSFDateUtil.isCellDateFormatted(cell)) { Date date = cell.getDateCellValue(); if (date != null) { value = new SimpleDateFormat( "yyyy-MM-dd").format(date); } else { value = ""; } } else { value = new DecimalFormat("0").format(cell .getNumericCellValue()); } break; case HSSFCell.CELL_TYPE_FORMULA: // 导入时如果为公式生成的数据则无值 if (!cell.getStringCellValue().equals("")) { value = cell.getStringCellValue(); } else { value = cell.getNumericCellValue() + ""; } break; case HSSFCell.CELL_TYPE_BLANK: break; case HSSFCell.CELL_TYPE_ERROR: break; case HSSFCell.CELL_TYPE_BOOLEAN: value = (cell.getBooleanCellValue() == true ? "Y" : "N"); break; default: value = ""; } // } // 空行判定条件：第一格内容为空 // 出现空行则此sheet读取结束 // 出现这种情况的原因是getLastCellNum可能比实际数据行数偏大 if (k == 0 && value.trim().equals("")) { break outter; } rowData[k] = value; if (logger.isDebugEnabled()) { logger.debug(i + "|" + j + "|" + k + "|" + rowData[k]); } } sheetData.add(rowData); } excelData[i] = sheetData; } } catch (Exception e) { e.printStackTrace(); } finally { try { fileInputStream.close(); } catch (Exception e) { e.printStackTrace(); } } return excelData; } /** * 使用JXL从excel表中读数据 * * @return List<String[]>[] */ @SuppressWarnings("unchecked") public static List<String[]>[] readExcelByJXL(File excelFile, int ignoredRows) { List<String[]>[] excelData = null; FileInputStream fileInputStream = null; try { long st = System.currentTimeMillis(); fileInputStream = new FileInputStream(excelFile); Workbook wb = Workbook.getWorkbook(fileInputStream); long et = System.currentTimeMillis(); System.out.println("加载消耗时间：" + (et - st) + "ms"); int sheetCount = wb.getSheets().length; excelData = new ArrayList[sheetCount]; for (int i = 0; i < sheetCount; i++) { Sheet sheet = wb.getSheet(i); List<String[]> sheetData = new ArrayList<String[]>(); // 取得sheet头上面包含有多少列 int nColumn = sheet.getColumns(); // 获得sheet总共有多少row int nRow = sheet.getRows(); for (int j = ignoredRows; j < nRow; j++) { // 定义存放信息字符串的一行数组,并进行初始化 String[] rowData = new String[nColumn]; Cell[] cells = sheet.getRow(j); for (int k = 0; k < cells.length && k < nColumn; k++) { rowData[k] = cells[k].getContents(); // System.out.println(i+"|"+j+"|"+k+"|"+rowData[k]); if (logger.isDebugEnabled()) { logger.debug(i + "|" + j + "|" + k + "|" + rowData[k]); } } sheetData.add(rowData); } excelData[i] = sheetData; } //wb.close(); } catch (Exception e) { e.printStackTrace(); } finally { try { fileInputStream.close(); } catch (Exception e) { e.printStackTrace(); } } return excelData; } /** * 向excel中写数据，其中传入的excelData为一维数组，维数即为sheet数 * 每个元素中有包含一个list，其中元素String[]为每行数据 * * @param excelData * @param beanName */ public static void writeExcel(List<String[]>[] excelData, String[] sheetNames, File outputFile) { FileOutputStream fileOut = null; try { HSSFWorkbook wb = new HSSFWorkbook(); int sheetCount = excelData.length; for (int i = 0; i < sheetCount; i++) {// 每个sheet HSSFSheet sheet = wb.createSheet(); wb.setSheetName(i, sheetNames[i], HSSFWorkbook.ENCODING_UTF_16); int rowCount = excelData[i].size(); for (int j = 0; j < rowCount; j++) {// 每行 String[] rowData = excelData[i].get(j); int columnCount = rowData.length; HSSFRow row = sheet.createRow(j); for (int k = 0; k < columnCount; k++) {// 每单元格 HSSFCell cell = row.createCell((short) k); if (j == 0) { HSSFCellStyle style = wb.createCellStyle(); HSSFFont font = wb.createFont(); font.setBoldweight(HSSFFont.BOLDWEIGHT_BOLD); style.setFont(font); // style.setWrapText(true); //文字自动换行 cell.setAsActiveCell(); cell.setCellStyle(style); } if (null != rowData[k]) { cell.setEncoding(HSSFWorkbook.ENCODING_UTF_16); cell.setCellValue(rowData[k]); } } } } // 若文件不存在则创建， if (outputFile.exists()) { outputFile.createNewFile(); } fileOut = new FileOutputStream(outputFile); wb.write(fileOut); } catch (Exception e) { e.printStackTrace(); } finally { try { fileOut.close(); } catch (Exception e) { e.printStackTrace(); } } } public static void comparePOIandJXL() throws Exception { List<String[]>[] listArray = null; File f = new File("E://test3.xls"); Runtime rt = Runtime.getRuntime(); if (true) { System.out.println("测试JXL！"); long st = System.currentTimeMillis(); long stm = rt.freeMemory(); listArray = TestExcelUtils.readExcelByJXL(f, 1); long etm = rt.freeMemory(); long et = System.currentTimeMillis(); System.out.println("消耗时间：" + (et - st) + "ms"); System.out.println("消耗内存：" + ((stm - etm) / 1024 / 1024) + "M"); } if (false) { System.out.println("测试POI！"); long st = System.currentTimeMillis(); long stm = rt.freeMemory(); listArray = TestExcelUtils.readExcelByPOI(f, 1); long etm = rt.freeMemory(); long et = System.currentTimeMillis(); System.out.println("消耗时间：" + (et - st) + "ms"); System.out.println("消耗内存：" + ((stm - etm) / 1024 / 1024) + "M"); } int sum = 0; for (int i = 0; i < listArray.length; i++) { sum += listArray[i].size(); } System.out.println("共有" + sum + "条数据。"); //writeExcel(listArray,new String[]{"noname"},new File("E://test.xls")); } public static void main(String[] args) { try { //JXL、POI性能对比测试 TestExcelUtils.comparePOIandJXL(); } catch (Exception e) { e.printStackTrace(); } } }

		加载时间（ms）	总耗时(ms)	总消耗内存量(M)
1千条：746K	POI	572	609	8
	JXL	296	422	12
	JXL-Close	172	329	-2
1万条：12.8M	POI	4847	5066	91
	JXL	634	2236	135
1万条：7.3M	POI	1266	2019	73
	JXL	488	1159	70
	JXL-Close	343	1107	2
5万条：36.8M	POI	7556	8633	208
	JXL	2319	5581	96
	JXL-Close	2543	6210	-201

可以看出

1.加载速度及总耗时，POI3.2始终劣于JXL2.4

2.后续解析速度上（没列，是总耗时减去加载时间），POI3.2总体上优于JXL2.4

3.1万条数据以上时，消耗内存量方面，POI3.2劣于JXL2.4

两点说明：

1.这里面有个有趣的细节：那个1万条12.8M的文件是我根据那个5万条的Excel选中后4万行按Del生成的，后来发现那4万行并没有真正删除，还有，是空行而已。后选中后右键删除（试了几次后才成功），总算真正清除了，体积也缩小了很多，从实验看来，空白格不但对Excel体积有影响，对程序读取影响也很大。程序中POI方式读取中设计了对空白行的判断，但加载还是多花了时间；

2.标识为JXL的数据，为代码中未加入WorkBook.close()方法时试验（注意代码中注释掉的wb.close()一行）；而JXL-Close则添加了close方法调用，可以看出时间消耗未明显增加，但内存消耗却大大降低(负的)。刚看了反编代码，果然，close方法中调用了System.gc()。

根据 haotangyu的代码进行的测试结果，还是上面那些文件，同样可以得出以上第1、2条结论：