sqlserver数据导入hdfs和hive的解决方案

方法一：

 

环境：win7+sqlserver2008

工具：bcp

测试效率：

新闻数据库，10 000 000行，25.8G

导出时间：约2个小时

每秒约1326行

 

 

方法二：

 

用循环执行sql语句，分段写入文件。

 

 

 

---

 

 

 

1 Bcp介绍

bcp 实用工具可以在 Microsoft SQL Server 实例和用户指定格式的数据文件间大容量复制数据。 使用 bcp 实用工具可以将大量新行导入 SQL Server 表，或将表数据导出到数据文件。 除非与 queryout 选项一起使用，否则使用该实用工具不需要了解 Transact-SQL 知识。 若要将数据导入表中，必须使用为该表创建的格式文件，或者必须了解表的结构以及对于该表中的列有效的数据类型。 

(1) 导入。

这个动作使用in命令完成，后面跟需要导入的文件名。 

(2) 导出。

这个动作使用out命令完成，后面跟需要导出的文件名。 

(3) 使用SQL语句导出。

这个动作使用queryout命令完成，它跟out类似，只是数据源不是表或视图名，而是SQL语句。 

(4) 导出格式文件。

这个动作使用format命令完成，后而跟格式文件名。 

下面介绍一些常用的选项： 

-f format_file 

format_file表示格式文件名。这个选项依赖于上述的动作，如果使用的是