sqlserver 海量数据导入的最快方法

原创 2004年07月07日 10:20:00

最近做某项目的数据库分析,要实现对海量数据的导入问题,就是最多把200万条数据一次导入sqlserver中,如果使用普通的insert语句进行写出的话,恐怕没个把小时完不成任务,先是考虑使用bcp,但这是基于命令行的,对用户来说友好性太差,实际不大可能使用;最后决定使用BULK INSERT语句实现,BULK INSERT也可以实现大数据量的导入,而且可以通过编程实现,界面可以做的非常友好,它的速度也很高:导入100万条数据不到20秒中,在速度上恐怕无出其右者。
但是使用这种方式也有它的几个缺点:
1.需要独占接受数据的表
2.会产生大量的日志
3.从中取数据的文件有格式限制
但相对于它的速度来说,这些缺点都是可以克服的,而且你如果愿意牺牲一点速度的话,还可以做更精确的控制,甚至可以控制每一行的插入。
对与产生占用大量空间的日志的情况,我们可以采取在导入前动态更改数据库的日志方式为大容量日志记录恢复模式,这样就不会记录日志了,导入结束后再恢复原来的数据库日志记录方式。
具体的一个语句我们可以这样写:
alter database taxi
set RECOVERY BULK_LOGGED

BULK INSERT taxi..detail FROM 'e:/out.txt'
WITH (
?? DATAFILETYPE = 'char',
?? FIELDTERMINATOR = ',',
?? ROWTERMINATOR = '/n',
?TABLOCK
)

alter database taxi
set RECOVERY FULL

这个语句将从e:/out.txt导出数据文件到数据库taxi的detail表中。

sqlserver 海量数据导入的最快方法

 最近做某项目的数据库分析,要实现对海量数据的导入问题,就是最多把200万条数据一次导入sqlserver中,如果使用普通的insert语句进行写出的话,恐怕没个把小时完不成任务,先是考虑使用bcp,...
  • dhz123
  • dhz123
  • 2004-11-02 14:31:00
  • 556

hbase海量数据的全量导入方法

  • 2013年05月10日 06:26
  • 60KB
  • 下载

SQL Server海量数据导入的最快方法

这篇论坛文章(赛迪网技术社区)详细讲解了SQL Server海量数据导入的最快方法,更多内容请参考下文: 最近做某项目的数据库分析,要实现对海量数据的导入问题,就是最多把200万条数据一次导入sqls...
  • gaozhigang
  • gaozhigang
  • 2008-10-23 11:50:00
  • 330

大容量txt数据导入SQL Server助攻记

小伙伴们有个数据竞赛,提供的数据是944MB大小的TXT数据文档,导入SQL遇到一些麻烦。于是帮着解决,顺便也熟练了SQL Server的一些操作----- 打开如此大的txt需要的时间很长,而且不...
  • bigpudding24
  • bigpudding24
  • 2015-11-25 01:41:13
  • 617

oracle高效导入数据方法

如何导入表数据产生的redo和undo产生量最少,导入速度最快 1.使用create table as select * from table_name; 此时会产生少量的undo信息,undo信息又...
  • u011340468
  • u011340468
  • 2015-05-26 15:39:08
  • 347

Hadoop海量数据处理

  • 2017年08月19日 16:03
  • 47.91MB
  • 下载

数据导入Excel

  • 2012年10月03日 23:55
  • 126KB
  • 下载

【SQL Server数据迁移】把csv文件中的数据导入SQL Server的方法

--修改高级参数 sp_configure 'show advanced options',1 go --允许即席分布式查询 sp_configure 'Ad Hoc Distributed Que...
  • yupeigu
  • yupeigu
  • 2013-10-10 17:09:47
  • 7085

实战hadoop海量数据处理系列 01:数据导入篇

实战hadoop海量数据处理系列 01:数据导入篇本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。在阅读本文前,强烈建议阅读原书“实现数据导入导出模块...
  • titer1
  • titer1
  • 2017-06-07 08:59:08
  • 1098

SQLServer大批量数据导入

今天遇到上  SQLServer数据导入的工作,200万条数据,一时之间不知道如何导入,通过百度发现Bcp命令,感觉很好用,拿来分享一下。 语法: 使用实例: 导入: bcp Datab...
  • Draling
  • Draling
  • 2016-01-05 17:05:10
  • 1069
收藏助手
不良信息举报
您举报文章:sqlserver 海量数据导入的最快方法
举报原因:
原因补充:

(最多只允许输入30个字)