[align=center][b]大量数据插入探讨[/b][/align]
当将文件中大量的数据插入到数据库时,我们就要考虑用什么样的插入策略才能够提高时间和空间的效率了。以下有各种插入策略,其中各有优缺点,供大家探讨。
当插入的数据不需要考虑数据的重复性时,这比较好办。可以用批量插入或用一些数据库自身提供的大量数据导入工具(如:BCP)或者java 调用sqlloader来完成。
当插入的数据需要考虑数据的重复性时,就需要考虑时间和空间的效率了。如果在插入每条数据之前先判断数据库是否有重复数据,这样会频繁访问数据库,极大的提高了时间的复杂度,随着数据库数据量的不断增加,效率会越来越低。假设将要大量数据读入内存,再插入数据库,这样虽然提高了时间效率,却大大提高了空间成本,有可能造成内出溢出,并且只能过滤掉文件中的重复数据。时间复杂度 2n.
有一种更好的策略就是在插入数据库时不考虑重复性,批量插入完以后删除重复记录这样就可以大大降低时间、空间复杂度。当然也可以借助中间表来完成这一策略。
导入是应注意一下几点:
1.最好分批导入,导入一批后最好提交(commit) ,在用jdbc的(executeBatch)批量处理时一定注意最大上限,否则只会执行一部分sql语句,超过上限的sql会自动丢弃。
2.注意内存使用(不要出现内存益出)。
3.效率问题,ID最好使用序列。
4.尽量使用大量导入工具(bcp,sqlLoader)来完成。
5.如果数据量很大的话在导入时最好不要做太多的判断,这样会影响导入速度,可以在导入完成后做一些操作(删除重复记录),注意建立组合索引。
当将文件中大量的数据插入到数据库时,我们就要考虑用什么样的插入策略才能够提高时间和空间的效率了。以下有各种插入策略,其中各有优缺点,供大家探讨。
当插入的数据不需要考虑数据的重复性时,这比较好办。可以用批量插入或用一些数据库自身提供的大量数据导入工具(如:BCP)或者java 调用sqlloader来完成。
当插入的数据需要考虑数据的重复性时,就需要考虑时间和空间的效率了。如果在插入每条数据之前先判断数据库是否有重复数据,这样会频繁访问数据库,极大的提高了时间的复杂度,随着数据库数据量的不断增加,效率会越来越低。假设将要大量数据读入内存,再插入数据库,这样虽然提高了时间效率,却大大提高了空间成本,有可能造成内出溢出,并且只能过滤掉文件中的重复数据。时间复杂度 2n.
有一种更好的策略就是在插入数据库时不考虑重复性,批量插入完以后删除重复记录这样就可以大大降低时间、空间复杂度。当然也可以借助中间表来完成这一策略。
导入是应注意一下几点:
1.最好分批导入,导入一批后最好提交(commit) ,在用jdbc的(executeBatch)批量处理时一定注意最大上限,否则只会执行一部分sql语句,超过上限的sql会自动丢弃。
2.注意内存使用(不要出现内存益出)。
3.效率问题,ID最好使用序列。
4.尽量使用大量导入工具(bcp,sqlLoader)来完成。
5.如果数据量很大的话在导入时最好不要做太多的判断,这样会影响导入速度,可以在导入完成后做一些操作(删除重复记录),注意建立组合索引。