sqoop链接mysql测试_Sqoop 1.4.7 的安装部署(包含测试)

Sqoop 下载地址(这里是1.4.7版本,1.4.7目前是最稳定的版本)

(Sqoop2 的最新版本是 1.99.7。请注意，1.99.7 与 1.4.7 不兼容， 且没有特征不完整)

https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/

(sqoop官方帮助文档地址 : http://sqoop.apache.org/docs/1.4.7/index.html)

正文开始了嗷

把 sqoop-1.4.7.bin hadoop-2.6.0.tar.gz 上传到 linux 的/opt/(jar包) 目录下

解压 sqoop-1.4.7.bin hadoop-2.6.0.tar.gz 到/opt/(解压包)/目录下

(这两个包没有就随便搞两个目录就行)

修改/opt/module/ sqoop-1.4.7.bin hadoop-2.6.0/conf 目录下的 sqoop-env-template.sh 名称为 sqoop-env.sh

配置 sqoop-env.sh 文件

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HIVE_HOME=$HIVE_HOME

export ZOOKEEPER_HOME=$ZOOKEEPER_HOME

(这里 “=” 后面如果配置了全局变量就写 “$全局” ,没有就写刚刚解压的绝对路径, 环境里面有的home属性可以多添加,没有就不配但是 Hadoop和Hive必须要有)

添加 JDBC 驱动

拷贝/opt/(解压包)/mysql-libs/mysql-connector-java-5.1.27 目录下的

mysql-connector-java-5.1.27-bin.jar 到/opt/(解压包)/sqoop/lib/

(这里就是把mysql的这个包放到sqoop的lib下面)

测试

接下来就是验证是否可以(调用一下help)

$ bin/sqoop help

(root用户直接 用 bin/sqoop help 不需要 ‘’$’’)

出现一些 Warning 警告(警告信息已省略)，并伴随着帮助命令的输出：

Available commands:

codegenGenerate code to interact with database records

create-hive-tableImport a table definition into Hive

evalEvaluate a SQL statement and display the results

exportExport an HDFS directory to a database table

helpList available commands

importImport a table from a database to HDFS import-all-tablesImport tables from a database to HDFS

import-mainframeImport datasets from a mainframe server to HDFS

jobWork with saved jobs

list-databasesList available databases on a server

list-tablesList available tables in a database

mergeMerge results of incremental imports

metastoreRun a standalone Sqoop metastore

versionDisplay version information

测试 Sqoop 是否能够成功连接数据库

$ bin/sqoop list-databases --connect jdbc:mysql://(节点名字):3306/ –username root --password 123456

(root用户直接 用 bin/sqoop help 不需要 ‘’$’’)

出现如下输出(结果就mysql里面的数据库,报错的话就没连接上)：

information_schema

metastore

mysql

performance_schema