cdh sqoop 配置_《Hadoop实战手册》一1.6 配置Sqoop以支持SQL Server

本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.6节，作者： 【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者： 傅杰 , 赵磊 , 卢学裕 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

1.6 配置Sqoop以支持SQL Server

本节将展示如何配置Sqoop和SQL Server数据库进行连接。这样可以允许数据从SQL Server数据库有效地导入HDFS中。

准备工作

本例子使用了Sqoop V1.3.0版本。

在本节假设你已经启动了一个Microsoft SQL Server实例，并且能够与Hadoop集群正常连接。

操作步骤

完成以下步骤配置Sqoop连接Microsoft SQL Server。

2．解压缩TAR文件：

gzip -d sqljdbc_3.0.1301.101_enu.tar.gz

tar -xvf sqljdbc_3.0.1301.101_enu.tar

这将创建一个新的文件夹 sqljdbc_3.0。

3．复制sqljdbc4.jar到$SQOOP_HOME/lib目录下：

cp sqljdbc_3.0/enu/sqljdbc4.jar $SQOOP_HOME/lib

Sqoop可以访问sqljdbc4.jar文件，并且可以通过该驱动包访问SQL Server实例。

4．为Hadoop下载微软SQL Server连接器：

http://download.microsoft.com/download/B/E/5/BE5EC4FD-9EDA-

4C3F-8B36-1C8AC4CE2CEF/sqoop-sqlserver-1.0.tar.gz.

5．解压缩TAR文件：

gzip -d sqoop-sqlserver-1.0.tar.gz

tar -xvf sqoop-sqlserver-1.0.tar

这将创建一个新的文件夹sqoop-sqlserver-1.0。

6．设置MSSQLCONNECTORHOME环境变量：

export MSSQL_CONNECTOR_HOME=/path/to/sqoop-sqlserver-1.0

7．运行安装脚本：

./install.sh

8．导入导出数据可以查看1.4节和1.5节。这两节的内容对SQL Server同样适用，只是需要把--connect参数修改为—connectjdbc:sqlserver://:。

工作原理

Sqoop和数据库之间通过JDBC连接。只要将sqljdbc4.jar添加到$SQOOP_HOME/lib目录下，Sqoop就可以使用--connect jdbc:sqlserver://:;连接SQL Server数据库实例。为了使SQL Server与Sqoop有充分的兼容性，修改了一些必要的配置，这些配置可以通过运行install.sh脚本来实现更新。