JAVA - 百万数据导出方案实现

JAVA - 百万数据导出方案实现

一、百万数据导出，需要解决的问题

1. 百万数据查询SQL优化
   百万数据量的SQL，稍微一个慢查询条件就会导致成为压死骆驼的最后一根稻草
2. 分页查询，深度查询优化
   pageHelp等全量分页，使用的是查出所有数据再分页，在大数据量时性能过低
3. 查询数据总体时间过长，时间缩短
   不管是分页还是全量查询，都需要大量时间，影响服务体验
4. OOM问题解决
   百万数据加载到内存中，服务器压力过大，导致内存溢出
5. 同步IO ，前端请求超时
6. 导出进度如何实时更新
   进度以什么做为维度统计计算？
7. 导出文件过大，弱网，断网情况如何处理
8. 导出操作对服务器的影响过大，如何防止恶意操作影响服务器性能

二、解决方案实现

三、实现过程中遇到的问题

四、总结

---

待完善