sqlserver 海量数据导入的最快方法

转载 2004年11月02日 14:31:00
 

最近做某项目的数据库分析,要实现对海量数据的导入问题,就是最多把200万条数据一次导入sqlserver中,如果使用普通的insert语句进行写出的话,恐怕没个把小时完不成任务,先是考虑使用bcp,但这是基于命令行的,对用户来说友好性太差,实际不大可能使用;最后决定使用BULK INSERT语句实现,BULK INSERT也可以实现大数据量的导入,而且可以通过编程实现,界面可以做的非常友好,它的速度也很高:导入100万条数据不到20秒中,在速度上恐怕无出其右者。
但是使用这种方式也有它的几个缺点:
1.需要独占接受数据的表
2.会产生大量的日志
3.从中取数据的文件有格式限制
但相对于它的速度来说,这些缺点都是可以克服的,而且你如果愿意牺牲一点速度的话,还可以做更精确的控制,甚至可以控制每一行的插入。
对与产生占用大量空间的日志的情况,我们可以采取在导入前动态更改数据库的日志方式为大容量日志记录恢复模式,这样就不会记录日志了,导入结束后再恢复原来的数据库日志记录方式。
具体的一个语句我们可以这样写:
alter database taxi
set RECOVERY BULK_LOGGED

BULK INSERT taxi..detail FROM 'e:/out.txt'
WITH (
?? DATAFILETYPE = 'char',
?? FIELDTERMINATOR = ',',
?? ROWTERMINATOR = '/n',
?TABLOCK
)

alter database taxi
set RECOVERY FULL

这个语句将从e:/out.txt导出数据文件到数据库taxi的detail表中。


sqlserver 海量数据导入的最快方法

sqlserver 海量数据导入的最快方法最 近做某项目的数据库分析,要实现对海量数据的导入问题,就是最多把200万条数据一次导入sqlserver中,如果使用普通的insert语句进行写出 的话,恐...
  • laolaowhn
  • laolaowhn
  • 2007年07月17日 16:00
  • 1065

SQL Server海量数据导入的最快方法

这篇论坛文章(赛迪网技术社区)详细讲解了SQL Server海量数据导入的最快方法,更多内容请参考下文: 最近做某项目的数据库分析,要实现对海量数据的导入问题,就是最多把200万条数据一次导入sqls...
  • gaozhigang
  • gaozhigang
  • 2008年10月23日 11:50
  • 320

Mysql海量数据--导入导出、备份恢复方法

使用phpmyadmin确实很方便。但是当我们需要导出几百兆甚至几个G的数据库时,phpmyadmin就会很卡。甚至如果你是想导入大量数据,则phpmyadmin完全无法完成。因为phpmyadmin...
  • xmlife
  • xmlife
  • 2016年04月13日 15:38
  • 1077

POI海量数据导入

1.POI实现海量数据的导入需要相应的sql表,以及jar包 csdn: http://download.csdn.net/detail/lai13835601355/9522893 2. pac...
  • lai13835601355
  • lai13835601355
  • 2016年05月17日 16:03
  • 1753

大规模数据 从SQL SERVER导入到ORACLE方法

来源:一个7G的SQL SERVER .bak文件要导入到ORacle
  • iitkd
  • iitkd
  • 2014年10月23日 12:11
  • 3269

实战hadoop海量数据处理系列 01:数据导入篇

实战hadoop海量数据处理系列 01:数据导入篇本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。在阅读本文前,强烈建议阅读原书“实现数据导入导出模块...
  • titer1
  • titer1
  • 2017年06月07日 08:59
  • 917

实战hadoop海量数据处理系列:序

#实战hadoop海量数据处理系列:序 先讲述我我和范老师书的缘分, 第二是对代码的思考, 第三是自己的进度, 第四是对进度进行展望。...
  • titer1
  • titer1
  • 2017年06月07日 07:36
  • 783

实战手记:让百万级数据瞬间导入SQL Server

想必每个DBA都喜欢挑战数据导入时间,用时越短工作效率越高,也充分的能够证明自己的实力。实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本文将向大家推荐一个挑战4秒极限让百万级数据瞬间...
  • zhongguoren666
  • zhongguoren666
  • 2011年12月14日 09:38
  • 2658

海量数据插入数据库的快速方案

在我们开发项目过程中,一般都会遇到大批量的数据导入。比如根据订购日志来生成订购记录。经过查询资料发现了2种比较快速的方法:  方法一   需要对日志文件做解析出来的。   public c...
  • u011624972
  • u011624972
  • 2016年02月26日 16:04
  • 653

hbase海量数据导入

最近有个需求要对mysql的全量数据迁移到hbase,虽然hbase的设计非常利于高效的读取,但是它的compaction实现对海量数据写入造成非常大的影响,数据到一定量之后,就开始抽风。  分析h...
  • qq_26091271
  • qq_26091271
  • 2016年06月29日 17:56
  • 162
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:sqlserver 海量数据导入的最快方法
举报原因:
原因补充:

(最多只允许输入30个字)