使用web方式导入如果导入大量数据

     在一些大型的可运行,可维护的系统中,经常需要具备大量导入数据的功能,而因为不同的应用,使用的方法和技术可能也不尽相同,下面,我从开发的几个项目中,来总结一些应该注意的方法和问题。

      1 使用同步的方式,该方式是,当导入数据的时候,就同步完成和导入相关的一切事情,该方式的优点是,可以在一次中,做完所有的导入工作,效果非常明显。
     但是缺点也非常明显,就是数据导入速度可能非常慢(一般导入数据后,需要做一些相应的处理)

    如果该导入中,不仅仅是涉及到一个DB,那么问题可能更复杂,因为不同的数据,一个使用hibernate进行持久化,另外一个数据库,使用JDBC连接,最后,因为这两种连接方式的不提交数据的机制不一样,非常容易出现,使用hibernate已经提交了,但是使用JDBC无法查询的现象。

  2 分步式处理,就是,导入数据,如果需要做3件事情,那么,第一步是写入到相应的table里面,第二步是把和他相关的数据,根据状态,发布到另外一个DB或者是需要进行处理,第三步是结果输出。在这样的一个导入流程中,我们使用分步的方式将是非常合理的,这样,用户在导入原始数据将会非常的块,并且,不会因为网络的延时或者DB的重负荷,出现失败的数据。
     使用该方式,必须合理的切分步骤,使得运行效率达到最优。

   

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值