请教各位高手关于数据采集优化问题

各位高手
大家好!有一个问题想请教大家(java方面)。
    有一批量采集程序每次采集5000条,对student表进行采集,该表有100多万条记录(oracle数据库)
如:第一次采集如下:
  select aa,bb,cc,dd,ee,ff,gg,hh,ii from
  (
    select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
    from student  where 1=1 and login_date between '20080401' and '20080501'
  )where rown >= 1 and rown <= 5000

第二次采集如下:
  select aa,bb,cc,dd,ee,ff,gg,hh,ii from
  (
    select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
    from student  where 1=1 and login_date between '20080401' and '20080501'
  )where rown >= 5001 and rown <= 10000

  ....

其中子查询
select aa,bb,cc,dd,ee,ff,gg,hh,ii,rownum rown
from student  where 1=1 and login_date between '20080401' and '20080501'
在每次采集时都一样,只有外部查询的rown在变动。这样每次采集时都要从数据库里面先得到子查询的结果,导致采集速度慢。
不知道利用缓存能不能提升速度,能不能把子查询的部分放到缓存里面,这样每次采集直接从缓存里面得到子查询的结果。
我用的是proxool-0.9.0RC3数据库连接池,如何跟缓存框架结合使用,用哪个缓存框架比较好。
请各位高手有空指教,谢谢!

  礼
             
                                                                                                           赵军奇
                                                                                                           QQ:448178351
                                                                                                           EMAIL:junqi39@163.com
                                                                                                           2008-05-06

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 打赏
    打赏
  • 扫一扫,分享海报

参与评论 您还未登录,请先 登录 后发表或查看评论
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

junqi1984

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值