《Hadoop实战手册》一1.6 配置Sqoop以支持SQL Server-CSDN博客

本节书摘来异步社区《Hadoop实战手册》一书中的第1章，第1.6节，作者：【美】Jonathan R. Owens , Jon Lentz , Brian Femiano 译者：傅杰 , 赵磊 , 卢学裕责编：杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

1.6 配置Sqoop以支持SQL Server

本节将展示如何配置Sqoop和SQL Server数据库进行连接。这样可以允许数据从SQL Server数据库有效地导入HDFS中。

准备工作
本例子使用了Sqoop V1.3.0版本。

如果你使用的是CDH3版本，Sqoop默认是已经安装了。如果不是CDH3，你可以通过https://ccp.cloudera.com/display/CDHDOC/Sqoop+Installation找到发行版的说明。

在本节假设你已经启动了一个Microsoft SQL Server实例，并且能够与Hadoop集群正常连接。

操作步骤
完成以下步骤配置Sqoop连接Microsoft SQL Server。

1．从http://download.microsoft.com/download/D/6/A/D6A241AC-433E-4CD2-A1CE50177E8428F0/1033/sqljdbc_3.0.1301.101_enu.tar.gz下载Microsoft SQL Server JDBC驱动3.0。该下载包包含了SQL Server JDBC驱动（sqljdbc4.jar）。Sqoop连接关系数据库是通过JDBC驱动的。

2．解压缩TAR文件：

gzip -d sqljdbc_3.0.1301.101_enu.tar.gz  
tar -xvf sqljdbc_3.0.1301.101_enu.tar

这将创建一个新的文件夹 sqljdbc_3.0。

3．复制sqljdbc4.jar到$SQOOP_HOME/lib目录下：

cp sqljdbc_3.0/enu/sqljdbc4.jar $SQOOP_HOME/lib

Sqoop可以访问sqljdbc4.jar文件，并且可以通过该驱动包访问SQL Server实例。

4．为Hadoop下载微软SQL Server连接器：

http://download.microsoft.com/download/B/E/5/BE5EC4FD-9EDA-
4C3F-8B36-1C8AC4CE2CEF/sqoop-sqlserver-1.0.tar.gz.

5．解压缩TAR文件：

gzip -d sqoop-sqlserver-1.0.tar.gz
tar -xvf sqoop-sqlserver-1.0.tar

这将创建一个新的文件夹sqoop-sqlserver-1.0。

6．设置MSSQLCONNECTORHOME环境变量：

export MSSQL_CONNECTOR_HOME=/path/to/sqoop-sqlserver-1.0

7．运行安装脚本：

./install.sh

8．导入导出数据可以查看1.4节和1.5节。这两节的内容对SQL Server同样适用，只是需要把--connect参数修改为—connectjdbc:sqlserver://:。

工作原理
Sqoop和数据库之间通过JDBC连接。只要将sqljdbc4.jar添加到$SQOOP_HOME/lib目录下，Sqoop就可以使用--connect jdbc:sqlserver://:;连接SQL Server数据库实例。为了使SQL Server与Sqoop有充分的兼容性，修改了一些必要的配置，这些配置可以通过运行install.sh脚本来实现更新。