处理海量数据时注意的问题

最近在给客户整一个财务报表,用的nopi生成excel,客户那每个月的数据大概有30W条,生成的excel约200张,在我们公司服务器上跑起来妥妥的,到客户的服务器上就完蛋了,跑着跑着就崩溃掉了,无力吐槽,万万没想到啊。总之又加了好几天班才解决问题。

大概如下,望各位童鞋注意

1.查询所需要处理的数据尽可能少,可以在数据库端进行第一步处理,比如select sum(totalprice) from table group by company啦

2. 及时进行垃圾回收

3.如果处理时间过长可以分批次处理

4.不要相信客户的服务器和自己的服务器性能一样,自己的服务器烂,客户的更烂

转载于:https://www.cnblogs.com/wen-wen/p/3762995.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值