大数据量Excel导出使用SXSSFWorkbook对象临时文件位置实现自定义配置

大数据量Excel导出使用SXSSFWorkbook对象临时文件位置实现自定义配置

SXSSFWorkbook大体介绍

SXSSFWorkbook是poi中专门做大数据量导出的一个类吧。它的构造中可以传入一个数值,超过这个数值的行将被写入临时文件。这个数值指的是我们生成此EXCEL中数据的行数。(是行数不是数据的行数)因为我们一般大数据量导出的时候经常碰到OOM的情况。这个类以这种方式来避免了OOM。

//当为-1的时候表示 将会把所有的行刷新到临时文件
Workbook workbook = new SXSSFWorkbook(-1);
//当为100的时候表示 将会把超过100行的数据刷新到临时文件
Workbook workbook = new SXSSFWorkbook(100);

//表示手动刷新所有数据到临时文件的方式 ,可指定参数  行数
((SXSSFSheet) sheet).flushRows();

这里需要注意的是,当每次刷新到临时文件。内存中的数据就不存在了,因此避免了OOM。有些小伙伴可能会犯还去拿行数,或者操作行数据的问题。这些数据已经被刷新到临时文件,内存中已经不存在了。所以就拿不到了。(抛异常)

关于这个临时文件默认路径及实现自定义配置的实现

首先我说一下这个类它默认的临时文件存放目录:
windows下:AppData\Local\Temp\poifiles文件夹下,生成一个叫poi-sxssf-sheet**************的文件
Linux系统下:会在/tmp/poifiles文件下生成该临时文件

这是源码中创建的文件的俩个方法,他们都调用了 createPOIFilesDirectory()方法:

//参数前缀(文件名)  后缀(文件类型)    
public File createTempFile(String prefix, String suffix) throws IOException {
        // Identify and create our temp dir, if needed
        createPOIFilesDirectory();
        
        // Generate a unique new filename 
        File newFile = File.createTempFile(prefix, suffix, dir);

        // Set the delete on exit flag, unless explicitly disabled
        if (System.getProperty(KEEP_FILES) == null) {
            newFile.deleteOnExit();
        }

        // All done
        return newFile;
    }
 public File createTempDirectory(String prefix) throws IOException {
        // Identify and create our temp dir, if needed
        createPOIFilesDirectory();
        
        // Generate a unique new filename
        // FIXME: Java 7+: use java.nio.Files#createTempDirectory
        final long n = random.nextLong();
        File newDirectory = new File(dir, prefix + Long.toString(n));
        createTempDirectory(newDirectory);

        // Set the delete on exit flag, unless explicitly disabled
        if (System.getProperty(KEEP_FILES) == null) {
            newDirectory.deleteOnExit();
        }

        // All done
        return newDirectory;
    }

以下是 createPOIFilesDirectory()方法的实现

private void createPOIFilesDirectory() throws IOException {
        // 此处的dir是一个file类型的对象   也就是指临时存放的目录
        if (dir == null) {
        //为空的话他回去取默认的临时文件路径  JAVA_IO_TMPDIR的值为  java.io.tmpdir   系统的配置信息
            String tmpDir = System.getProperty(JAVA_IO_TMPDIR);  
            if (tmpDir == null) {
                throw new IOException("Systems temporary directory not defined - set the -D"+JAVA_IO_TMPDIR+" jvm property!");
            }
            //创建这个目录
            dir = new File(tmpDir, POIFILES);     
        }
        //此方法是对此目录的一个检验,不重要忽略
        createTempDirectory(dir);
    }

可以看到如果获取到的dir为空的话,它会默认去哪系统的配置信息默认的临时文件路径。这个配置信息是可以进行修改的。通过System.setProperty(“java.io.tmpdir”,“你期望的存放文件目录”);。在此配置运行后就会把临时文件放到你期望的位置。我是在项目启动时运行此行代码的,用的springboot。代码如下:

@Component
public class ExporPathConfig {
    
    //此处是配置的临时缓存路径在yml文件中
	@Value("${export.message}")
	private String Path; 
	
	private final Logger log = LoggerFactory.getLogger(ExporPathConfig.class);
	
	@PostConstruct
    public void init() {
        try {
            System.setProperty("java.io.tmpdir", Path);
        } catch (Exception ex) {
            log.error(ex.getMessage(),"获取消息导出临时缓存路径失败");
        }
    }
}

通过以上配置就可以实现临时文件的自定义配置。再有就是大家主要临时文件的清理。自带api就有实现
((SXSSFWorkbook) workbook).dispose(); 清理临时缓存文件。因为我用的是父类所以强转了。第一次写第一篇博客,好紧张,瑟瑟发抖。

  • 9
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值