Sqoop将SqlServer数据导入HDFS

最新推荐文章于 2022-08-27 23:22:21 发布

NobiGo

最新推荐文章于 2022-08-27 23:22:21 发布

阅读量1.3k

点赞数

分类专栏： Sqoop入门文章标签：数据库 sql server 数据 hdfs Sqoop

本文链接：https://blog.csdn.net/it_dx/article/details/53046472

版权

Sqoop入门专栏收录该内容

0 篇文章 0 订阅

订阅专栏

环境准备

1.下载jdbc的sqlserver驱动
在HDFS与SqlServer数据库之间导入数据，需要下载jdbc的sqlserver驱动。并将jar文件拷入/var/local/hadoop/sqoop-1.4.6/lib
2.但是这个只是jdbc中SqlServer的驱动，它并不支持HDFS与SqlServer数据库之间数据的传输，还需要下载 SQL Server-Hadoop Connector。解压得到sqoop-sqlserver-1.0目录，并在系统中添加环境变量
MSSQL_CONNECTOR_HOME，让它指向sqoop-sqlserver-1.0目录。
3.然后执行sqoop-sqlserver-1.0目录下的install.sh。这个命令会将连接的
jar文件和配置文件拷贝的Sqoop目录中。

执行导入

进行导入：

sqoop import --connect 'jdbc:sqlserver://ip;username=sa;password=123456;database=shifenzheng' --table cdsgus

导入完成后会在/home/username/下产生一个cdsgus文件。

注意事项

错误信息：
The server version is not supported. The target server must be SQL Server 2000 or later.) [duplicate]
1.使用最新的sqljdbc4.jar
2.SqlServer中显示的表的名称为：用户名.表名

jar文件下载目录：http://download.csdn.net/detail/it_dx/9673929