在数据库中查询超大批量数据并个性化生成Excel

在数据库中查询超大批量数据并个性化生成Excel

设计需求，能支持在数据库中查询上千万的数据并按照设计生成想要的Excel。
这儿选用的框架是poi，这是一款非常好用的生成Excel的框架，最新的SXSSFWorkbook已经支持，当超过设定的查询条数时候，自动写入硬盘中，减少了内存负担，且能很好的支持大批量数据转换为Excel。

本代码设计查询一千万条数据，每100万作为一个Sheet（poi在一个sheet中最高上限一百万），每次在数据库中查询1万（在数据库中不能一次查询条数过多，对内存压力过大）条数据。

import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileFilter;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.nio.channels.FileChannel;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Collection;
import java.util.Collections;
import java.util.Comparator;
import java.util.Date;
import java.util.HashMap;
import java.util.Iterator;
import java.util.List;
import java.util.ListIterator;
import java.util.Map;

public class ExcleUtil {
public void CreateExcleBIG(String fileName) throws ServletException, IOException {
        Map<String, String> b = new HashMap<String, String>();
        String savePath = "/home/text/downloads/";
        if (!new File(savePath).isDirectory()) {
            new File(savePath).mkdirs();
        }

        String oldds = DynamicDataSourceContextHolder.getDataSourceType();
        DynamicDataSourceContextHolder.setDataSourceType("shandong1"); //切换数据源
        try {
            SXSSFWorkbook wb = new SXSSFWorkbook(10000); // 在内存当中保持 10000 行 ,
                                                            // 超过的数据放到硬盘中
            int number = downloadMapper.getNumber();//获得查询数据的总条数，这儿为1000万
            Map<String, Object> getNumber = new HashMap<String, Object>();

            File outputFile = new File(savePath + fileName + ".xlsx");
            // 创建文件
            outputFile.createNewFile();

            FileOutputStream out = new FileOutputStream(savePath + fileName + ".xlsx");

            int p = 1;
            int i = 0;
            Sheet sh;
            while (i < number) {

                int yyy = 1;
                sh = wb.createSheet("分表" + p);
                Row row = sh.createRow(0);

                Cell cell = row.createCell(0);
                cell.setCellValue("月份");
                cell = row.createCell(1);
                cell.setCellValue("编码");
                cell = row.createCell(2);
                cell.setCellValue("地市");
                cell = row.createCell(3);
                cell.setCellValue("用户编码");
                while (yyy < 1000000 && i < number) {

                    int pagebegin = i + 1;
                    getNumber.put("pagebegin", pagebegin + "");
                    int pageend = i + 10000;
                    getNumber.put("pageend", pageend + "");
                     //数据库中查询数据，每次1万
                    List<Map<String, Object>> m = downloadMapper.getListByNumber(getNumber);
                    for (Map<String, Object> map : m) {
                        row = sh.createRow(yyy);
                        cell = row.createCell(0);
                        cell.setCellValue((String) map.get("MONTH_ID"));
                        cell = row.createCell(1);
                        cell.setCellValue((String) map.get("EPARCHY_CODE"));
                        cell = row.createCell(2);
                        cell.setCellValue((String) map.get("AREA_DESC"));
                        cell = row.createCell(3);
                        cell.setCellValue((String) map.get("USER_ID"));

                        yyy++;
                        i++;
                    }

                }
                System.out.println(i + "     " + yyy);

                p++;
            }

            wb.write(out);
            out.close();
            // dispose of temporary files backing this workbook on disk
            wb.dispose();
        } catch (Exception e) {
            // TODO: handle exception
            e.printStackTrace();

        } finally {
            DynamicDataSourceContextHolder.setDataSourceType(oldds);
        }

    }
    }