传统行业两大难题(大文件上传下载和大批量数据导出)

传统行业两大难题(大文件上传下载和大批量数据导出)

大批量导出问题

百万级数据量怎么解决内存溢出问题,延伸出数据查询慢,多点击几次内存又溢出,导致其他服务不可用情况

mybatis 查询问题

  1. 流式查询;
  2. 代码先查询统计的总条数;
  3. 分页查询;
  4. 切换easyexcel 控制缓存行数和大小;
  5. 循环分页查询;

网关设置

熔断,限流,同一IP不能频繁点击,提示正在导出中,稍后导出

前端设置

  1. 提示稍后操作,协同后端设置一个可导出的字段,在一定时间范围内显示后端统计好的可下载的excel文档
  2. 一直连接,转圈圈

大文件上传下载问题

内存溢出,慢
使用分布式存储组件,比如minIO,fastdfs,ceph,自己封装工具包,但不能使用缓存,使用字节流

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小生有礼了哈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值