传统行业两大难题(大文件上传下载和大批量数据导出)
大批量导出问题
百万级数据量怎么解决内存溢出问题,延伸出数据查询慢,多点击几次内存又溢出,导致其他服务不可用情况
mybatis 查询问题
- 流式查询;
- 代码先查询统计的总条数;
- 分页查询;
- 切换easyexcel 控制缓存行数和大小;
- 循环分页查询;
网关设置
熔断,限流,同一IP不能频繁点击,提示正在导出中,稍后导出
前端设置
- 提示稍后操作,协同后端设置一个可导出的字段,在一定时间范围内显示后端统计好的可下载的excel文档
- 一直连接,转圈圈
大文件上传下载问题
内存溢出,慢
使用分布式存储组件,比如minIO,fastdfs,ceph,自己封装工具包,但不能使用缓存,使用字节流