EASYPOI大数据量SAX方式导出（20201126）

最新推荐文章于 2024-07-27 22:37:39 发布

Benson2012

最新推荐文章于 2024-07-27 22:37:39 发布

阅读量1.7k

点赞数 1

分类专栏： easypoi java 文章标签： easypoi sax导出大数据量导出

本文链接：https://blog.csdn.net/sybww/article/details/116004673

版权

java 同时被 2 个专栏收录

28 篇文章 0 订阅

订阅专栏

easypoi

2 篇文章 0 订阅

订阅专栏

示例代码

@Test
public void testSaxImport() throws IOException, ParseException {

    File file = new File("E:\\project\\urge.xls");
    //存放验证失败内容
    List<CaseUrgeFullInfo> failList = new ArrayList<>();
    //如果有验证失败项，记录失败原因
    AtomicReference<String> msg = new AtomicReference<>();
    //用于数据验证
    InputStream inputStream = new FileInputStream(file);
    //用户数据导入
    InputStream inputStream2 = new FileInputStream(file);
    try {
        ExcelImportUtil.importExcelBySax(inputStream, CaseUrgeFullInfo.class, new ImportParams(), new IExcelReadRowHandler<CaseUrgeFullInfo>() {

            @Override
            public void handler(CaseUrgeFullInfo caseUrgeFullInfo) {
                if (StringUtils.isBlank(caseUrgeFullInfo.getCaseNumber())) {
                    failList.add(caseUrgeFullInfo);
                    msg.set("个案序列号不能为空");
                }
                //其他验证
                //最后判断是否有验证失败项，检查到有验证失败的，抛异常终止
                if (!failList.isEmpty()) {
                    throw new RuntimeException(msg.get());
                }
            }
        });
    }catch (Exception e){
        //有异常或者验证失败的情况，终止导入，只有全部验证通过才能导入
        logger.info("校验异常，e={}",e.getMessage());
        return;
    }

    //全部验证通过后进行入库
    //存放excel读取的数据
    List<CaseUrgeFullInfo> list = new ArrayList();
    ExcelImportUtil.importExcelBySax(inputStream2, CaseUrgeFullInfo.class, new ImportParams(), new IExcelReadRowHandler<CaseUrgeFullInfo>() {
        @Override
        public void handler(CaseUrgeFullInfo caseUrgeFullInfo) {
            list.add(caseUrgeFullInfo);
            if(list.size() == 1000){
                handlerData();
            }
        }
        private void handlerData(){
            //入库操作
            mongoTemplate.insertAll(list);
            list.clear();
        }
    });
    //不够批次量（1000）的
    if(!list.isEmpty()){
        //入库操作
        mongoTemplate.insertAll(list);
        list.clear();
    }
}