数据库大数据量的处理

需求:
从ORACLE数据库里取出大量的产品订购信息,然后按照指定的格式写入文档里面,然后用JAVA解析到业务管理界面供用户查询使用,
每100000条记录写入一个文档。

第一种方式:
(1)先用查询语句算出数据库记录的条数。例如
SELECT NVL(COUNT(*),0)
  INTO :ll_Counts
  FROM  订购表
  WHERE 过滤规则;
(2)然后计算出需要多少个文档要保存这些记录
lFileCount = ll_Counts/100000;
lSurplus = ll_Counts%100000;
if ( lSurplus >0 )
{
    lFileCount = lFileCount + 1;
}
(3)创建所有的文件.
(4)再次遍历数据库订购表的记录,然后每100000条记录写入上面创建的每个文件里面

这种方式比较简单明了,因为数据量很大,又查询了2次数据库,很影响性能。执行时间很长。

第二种方式
遍历数据库订购表的记录,每100000条记录的第一条开始记录创建文件,然后写入100000条记录,
这个方式只查询了一次数据库,性能提高很多。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值