使用DTS导入多个文件数据到SQL Server中

原创 2004年05月07日 22:02:00

使用DTS导入多个文件数据到SQL Server中

    在我们工作中,经常需要将保存在文件中的数据导入到SQL Serve的表中。有时可能需要同时从相同或不相同的文件目录中导入多个文件的数据到SQL Server中。这里我们将讨论如何使用批处理文件和DTS从一个特定的文件目录中,导入多个文件的数据到SQLServer中。

    试验环境
  我们先创建整个试验的环境。创建文件目录“C:/MyImport”,和三个文件a.csv、b.csv和c.csv,文件内容如下。同时,在SQL Server中创建一个表用来存放导入的数据。
    C:/MyImport/a.csv
    1, MAK, A9411792711, 3400.25
    2, Claire, A9411452711, 24000.33
    3, Sam, A5611792711, 1200.34
    4, Wright, A5611792711, 1200.34
    5, Richard, G561d792755, 1223.34
    6, Valarie, B5611792788, 1240.32
    C:/MyImport/b.csv
    11, Rubon, 9671792711, 400.14
    22, Mike, 9418952711, 4000.56
    39, Hsu, 75611792511, 1230.00
    C:/MyImport/c.csv
    69, Lucy, 8411992710, 305.11
    45, Grace, 3413452713, 246.52
    33, Saint, 5461795716, 1278.70

    
    Create Database Bank
    Go
    Use Bank
    go
    Create table Account([ID] int, Name Varchar(100),
    AccountNo varchar(100), Balance money)
    Go
    Create table logtable (id int identity(1,1),
   Status varchar(500),
   Importeddate datetime default getdate())
    Go
    use master
    go
    sp_addlogin 'importuser','import','Bank'
    go
    use Bank
    go
    sp_adduser 'importuser'
    go
    sp_addrolemember 'db_datareader','importuser'
    go
    sp_addrolemember 'db_datawriter','importuser'
    go

  创键DTS
   1、在DTS中创建3个全局变量,FileName、ServerName和DatabaseName。
  
  
  2、创建Text File (Source) 和SQL Server连接,并创建数据转换任务,如下图所示。
  
  3、设置数据转换的对应关系如下图。
  

  4、创建动态属性任务(dynamic tasks):连接InputFile中,设置Catalog的值为全局变量DatabaseName,DataSource的值为全局变量FileName;连接SQLServer中,设置DataSource的值为全局变量ServerName。
  
   
  
  5、增加一个“成功时”的工作流在动态属性任务和连接InputFile之间。
  
  6、如下图那样,创建一个执行SQL任务,来保存数据导入的记录。
  SQL为INSERT INTO LogTable (Status) VALUES (?)
  
  
  点击参数,来设置参数,设置参数1为全局变量FileName。
    
  
  7、增加一个“成功时”的工作流在连接SQLServer和执行SQL任务之间。
  
  8、将DTS包保存成结构化存储文件。你也可以保存在SQL Server中,但我们这里只讨论保存成结构化存储文件的方式。
  

  创建批处理文件
  如下所示创建批处理文件C:/MyImport/Import.bat。
    REM Type: Batch File
    REM Created by: Digjim
    REM Import all csv files to SQL Server using DTS
 
    REM Export DIR listing to C:/MyImport/Dirlist.txt
    dir c:/MyImport/*.csv /b > C:/MyImport/Dirlist.txt
 
    REM Execute DTS package for every file name in the Dirlist.txt

    for /f "tokens=1,2,3" %%i in (C:/MyImport/Dirlist.txt) do "C:/Program Files/Microsoft SQL Server/80/Tools/Binn/DTSrun.exe" -F "c:/myimport/myimportdts1.dts" -U importuser -P import –A "ServerName"="DIGJIM" -A "FileName"="c:/myimport/%%i" -A "DatabaseName"="Bank"

    REM Rename all the files with "old" as suffix
    ren c:/myimport/*.csv *.oldcsv

  执行批处理文件
   当批处理文件被执行以后,他会在C:/MyImport目录下产生一个DirList.txt的文件,这个文件会包含所有C:/MyImport下扩展名为CSV的文件,这些文件名会和其他必须的参数一气传输给DTSrun.exe。在这个例子里,DirList.txt的内容如下:
    C:/MyImport/DirList.txt
    acsv
    b.csv
    c.csv

   注意,在批处理文件中,根据你自己的情况设置ServerName,FileName和DatabaseName参数。
 
  结果
   现在你可以去你的数据库看结果,
   批处理输入的数据:

1<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

 MAK

 A9411792711

3400.25

2

 Claire

 A9411452711

24000.33

3

 Sam

 A5611792711

1200.34

4

 Wright

 A5611792711

1200.34

5

 Richard

 G561d792755

1223.34

6

 Valarie

 B5611792788

1240.32

11

 Rubon

9671792711

400.14

22

 Mike

9418952711

4000.56

39

 Hsu

75611792511

1230

69

 Lucy

8411992710

305.11

45

 Grace

3413452713

246.52

33

 Saint

5461795716

1278.7

     在logtable中记录的Log。

1

c:/myimport/a.csv

2004-4-19 1:16

2

c:/myimport/b.csv

2004-4-19 1:16

3

c:/myimport/c.csv

2004-4-19 1:16

如果你把DTS包存储在SQL Server中,批处理文件就这样写
     REM Type: Batch File
     REM Created by: Digjim
     REM Import all csv files to SQL Server using DTS
 
     REM Export DIR listing to C:/MyImport/Dirlist.txt
     dir c:/MyImport/*.csv /b > C:/MyImport/Dirlist.txt
 
     REM Execute DTS package for every file name in the Dirlist.txt

     for /f "tokens=1,2,3" %%i in (C:/MyImport/Dirlist.txt) do "C:/Program Files/Microsoft SQL Server/80/Tools/Binn/DTSrun.exe" –S "SQL" –N "myimportdts" -U importuser -P import –A "ServerName"="DIGJIM" -A "FileName"="c:/myimport/%%i" -A "DatabaseName"="Bank" 

     REM Rename all the files with "old" as suffix
     ren c:/myimport/*.csv *.oldcsv

 

参考:

使用T-SQL导入多个文件数据到SQL Server中

用DTS方式实现数据导入导出操作

经常遇到批量数据导入问题,比如要定时把某一个目录中的所有EXCEL文件导入数据库,如果采用DTS导入方式,将很方便和快捷的处理好!我以实际工作中一个用DTS导入例子详细讲解下,希望对大家对DTS导入方...
  • zlp321002
  • zlp321002
  • 2005年11月19日 23:33
  • 8612

sql server中三种导入导出数据方式(SQL语句、bcp、dts)

当我们建立一个数据库时,并且想将分散在各处的不同类型的数据库分类汇总在这个新建的数据库中时,尤其是在进行数据检验、净化和转换时,将会面临很大的挑战。幸好sql server为我们提供了强大、丰富的数据...
  • xiaoxiaohai123
  • xiaoxiaohai123
  • 2008年05月05日 14:06
  • 5571

DTS参数传递示例

DTS参数传递示例 -- 1. 建立测试表 CREATE TABLE tempdb.dbo.tb(id int) -- 2. 新建一个DTS包 在包中建立:a. Microsoft OLE DB Pr...
  • zjcxc
  • zjcxc
  • 2005年08月24日 15:32
  • 8430

java调用SSIS java调用dtsx包 代码+图示

今天,主管让研究SSIS,网上找了些资料,用VS2005,做了一个简单的资料导入功能。有了.dtsx文件 可是要怎么应用到我的java web程序呢。苦于网上资料很少,去微软的msdn上提问了,也无果...
  • name_liweibin
  • name_liweibin
  • 2013年04月27日 09:21
  • 1194

使用DTS数据转换抽取执行SQL Server 2000到DB2 V8的数据转换导入

使用DTS数据转换抽取执行SQL Server 2000到DB2 V8的数据转换导入首先打开windows的ODBC 配置好DB2和SQL Server的ODBC,一般安装默认安装好数据库都自带了O...
  • lucifer821031
  • lucifer821031
  • 2007年12月05日 09:55
  • 1299

SQL SERVER中利用dts将oracle数据库导入到SQL SERVER

SQL SERVER2005中利用dts将oracle数据库导入到SQLSERVER2005   假设oracle安装在另一台IP地址为192.168.1.202的机器上,而你的机器上安装了MS ...
  • zhang308
  • zhang308
  • 2016年07月30日 14:19
  • 842

dts从uboot加载到kernel使用案例的分析

曾经在空间里面转载过一篇《ARM Linux 3.x的设备树(Device Tree)》的文章,看了几遍,仍然不知所云。后来在工作中才慢慢地对dts有所领悟。所以,在这里想用简单的词语,描述一下自己对...
  • hbk320
  • hbk320
  • 2015年07月11日 21:11
  • 7620

SSIS处理导入数据时, 存在的更新, 不存在的插入

问题描述:当你把数据从其他数据库, 或者是文本文件之类的其他数据源导入到目的数据库时, 有时希望在导入的处理中, 能够实现"数据存在时更新, 不存在时导入"在之前, 一般是通过导入临时表, 然后再判断...
  • Franklin_Yu
  • Franklin_Yu
  • 2011年04月14日 15:28
  • 265

将多个CSV批量导入SQL Server表中

将多个CSV批量导入SQL Server表中
  • jyh_jack
  • jyh_jack
  • 2016年02月18日 14:17
  • 2418

从Excel文件中导入数据到SQL Server 2012

1.启动SQL Server Management Studio 连接服务器后,选择数据库中需要导入数据的数据库,右键点击,选择任务,导入数据 Server 2012" alt="从Excel文...
  • guoqingshuang
  • guoqingshuang
  • 2016年05月19日 15:37
  • 2556
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:使用DTS导入多个文件数据到SQL Server中
举报原因:
原因补充:

(最多只允许输入30个字)