大数据量的处理的思路
one ask and answer------------------
引用 8 楼 william548934 的回复:
引用 1 楼 bao110908 的回复:
这问题问得,这二三十万是什么格式的数据?还是二三十万行的 INSERT 语句?
比如二三十万行有规则的数据存放在excel文件中。。。如下:
a b c d e f
a b c e f
a c d e f
a b c d e
a b c d f
................
请帮忙哦。。。
引用 1 楼 bao110908 的回复:
这问题问得,这二三十万是什么格式的数据?还是二三十万行的 INSERT 语句?
比如二三十万行有规则的数据存放在excel文件中。。。如下:
a b c d e f
a b c e f
a c d e f
a b c d e
a b c d f
................
请帮忙哦。。。
你的数据库是什么?oracle吗?
先将你的excel的文件保存为.cvs文件
orale 可以通过PLSQL-->tool>text import 导入.cvs文件的
another answer----------------------------------------
批量导入数据库~
强烈建议不要自己写程序 实现,应该遵循如下原则:
1. 优先考虑使用 数据库 提供的批量导入命令实现,速度快,效率高(oracle 就有sqlldr命令)
2. 优先考虑使用命令行,直接导入.例如:insert table ……
3. 最后 才是考虑自己写程序 进行数据导入~
你就二三十万数据 算什么?也不算很大量的,我曾将将200万数据导入至 db2 至花了 5秒不到的时间。
我是用的db2 批量导入的命令:
db2 "export to RPT_DIRECTORY_FILE_new_1.txt of del select * from RPT_DIRECTORY_FILE where rpt_id in('A3015','A3021','A3037','A3047')"