数据仓库之抽取数据：通过bcp命令行导入数据

 

在做数据仓库时，最重要的就是ETL的开发，而在ETL开发中的第一步，就是要从原OLTP系统中抽取数据到过渡区中，再对这个过渡区中的数据进行转换，最后把经过处理的干净的数据加载到数据仓库中。

 

目标数据库是sql server，通过bcp命令行导入数据。bcp方式相对于其他方式来说，速度更快，是做了优化的。

以下为bcp命令行常用的参数，注意大小写：  

-c  以char作为存储类型
-w  和-c类似，只有当使用unicode字符集拷贝数据时使用nchar作为存储类型
-T  用可信连接
-S  sql server服务器名称

in  导入数据
out 导出数据
queryout 查询导出数据

-U  用户名
-P  密码
-F  从哪一行开始导入
-L  直到哪一行结束
-f  格式文件
-x  与-f一起使用，用来生产xml格式的格式文件
-t  指定字段分隔符是"\t"
-r  指定行分隔符是"\n"

 

1、开启即席查询

--修改高级参数
sp_configure 'show advanced options',1
go
--允许即席分布式查询
sp_configure 'Ad Hoc Distributed Queries',1
go
--如果配置的值不在合理范围（在最小值最大值范围内），那么可以强制覆盖
reconfigure with override  
go

2、导出格式化文件

格式化文件用来指定表的格式，也就是几个字段，数据类型是什么，后面导入、导出数据会用到。

通过导出格式化选项，可以直接导出，不需要我们自己写。

用可信连接登陆：

bcp wc.dbo.calendar format nul -f c:\calendar.fmt 
                               -c -T -S pc0227gry\mssqlserver2008

通过用户名、密码登陆：

bcp wc.dbo.calendar format nul -f c:\calendar.fmt 
                               -c -Usa -Pxyz -S pc0227gry\mssqlserver2008

3、导出数据文件，可以把远程服务器的数据导出保存为本地的文件

bcp wc.dbo.calendar out c:\calendar.txt  -f c:\calendar.fmt 
                                         -c -T -S PC0227GRY\MSSQLSERVER2008

4、导入数据

bcp wc.dbo.calendar in c:\calendar.txt -c -f c:\calendar.fmt 
                                       -Usa -Pxyz -S pc0227gry\mssqlserver2008