大数据导出2

经过几天的折腾,终于把这个顽固的工程做完了,现在60万数据40秒导出到本地。

尝试了很多的办法,现在放上最优秀的做法供参考。

第一,优化数据表,加上相应的索引,分区。

第二,读库操作。分多线程,采用ThreadPool。

第三,导出操作,(1)采用Aspose.cells(2)采用多文件方式,要么以记录行数分割,要么以关键字分割。(3)友好的用户等待界面。

代码涉及公司利益,先暂时不上代码了,思路就是这样。利用npoi也能实现,只是outofmemory这个异常不好捕获,我们这个数据量太大,所以改用apose.cells组件,功能的确很强大,单独运行时,都能在四五十秒内完成导出动作,这款组件还是值得研究的。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值