经过上一篇,我们已经安装并且配置好了 sqoop2,这一篇我们通过两个实例来简单使用一下。
1.HDFS ⇒ Mysql
1.1启动服务
[root@master ~]# sqoop2-server start
1.2启动客户端
[root@master ~]# sqoop2-shell
Setting conf dir: /usr/hadoop/sqoop-1.99.7/bin/../conf
Sqoop home directory: /usr/hadoop/sqoop-1.99.7
Sqoop Shell: Type 'help' or '\h' for help.
sqoop:000> \h
For information about Sqoop, visit: http://sqoop.apache.org/
Available commands:
:exit (:x ) Exit the shell
:history (:H ) Display, manage and recall edit-line history
help (\h ) Display this help message
set (\st ) Configure various client options and settings
show (\sh ) Display various objects and configuration options
create (\cr ) Create new object in Sqoop repository
delete (\d ) Delete existing object in Sqoop repository
update (\up ) Update objects in Sqoop repository
clone (\cl ) Create new object based on existing one
start (\sta) Start job
stop (\stp) Stop job
status (\stu) Display status of a job
enable (\en ) Enable object in Sqoop repository
disable (\di ) Disable object in Sqoop repository
grant (\g ) Grant access to roles and assign privileges
revoke (\r ) Revoke access from roles and remove privileges
For help on a specific command type: help command
sqoop:000>
1.3简单配置
像官网上介绍的,有许多可选项可以供我们设置,对于 verbose 这一项建议设置成为 true,它默认是 false,表示不会在输出过多信息。设置成 true 可以显示更多信息,有助于我们的学习。
sqoop:000> set option --name verbose --value true
Verbose option was changed to true
sqoop:000>
之后设置连接 sqoop2 服务器
sqoop:000> set server --host master --port 80 --webapp sqoop
Server is set successfully
sqoop:000>
我们可以使用 show version –all 命令来验证是否连接成功,显示的版本是我们安装的就表示连接成功了
sqoop:000> show version -all
client version:
Sqoop 1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb
Compiled by abefine on Tue Jul 19 16:08:27 PDT 2016
server version:
Sqoop 1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb
Compiled by abefine on Tue Jul 19 16:08:27 PDT 2016
API versions:
[v1]
sqoop:000>
这些设置使用的命令都可以在官网的文档了查询到。
1.4创建 HDFS 的 Link对象
文档里给出了创建 Link 所使用的命令,但是,对于 connectorName 我们要使用什么呢。所以我们可以使用 show connector 命令来查看一下 sqoop2 提供有什么 connector:
如图,有这么多,我们先来创建 hdfs-connector 的吧:
要使用到的参数如下:
sqoop:000> create link --connector hdfs-connector
Creating link for connector with name hdfs-connector
Please fill following values to create new link object
Name: HDFS # 要创建的 link 的名称(必填)
HDFS cluster
URI: hdfs://master:9000/ # 这里要填的就是我之前要大家