十八、通过Sqoop2-Shell将HDFS中的数据导出到MySQL

一、Sqoop2提供了能够使用REST接口与Sqoop 2服务器通信的命令行shell。客户端可以在两种模式下运行——交互模式和批处理模式。批处理模式目前不支持create、update和clone命令。交互模式支持所有可用的命令。

二、Sqoop2新增了Sqoop中没有的链接器，我们主要是通过链接器的方式来实现数据的create、update和clone，简单说明一下链接器的使用过程并通过一个实例来掌握：使用链接器首先要的是相关链接器的Jar包，譬如你想要将数据从hdfs中传输到mysql，那么你至少需要使用官方提供hdfs数据传输的封装包和jdbc的相关封装包，我们首先需要创建两个链接hdfs-link和jdbc-link，并且配置好这两个链接，然后通过这两个link来创建一个job，并且配置好job，最后start这个job，Java角度来看可以把创建link看作class的对象实例，调用的jar包为class，job看作main函数，start也就是代码执行。

三、将HDFS的数据导出Mysql数据库

1、hadoop配置mapred-site.xml,这个主要是为了Sqoop2能够查看自身的各种status，譬如查看Job是否执行成功

<property>
  <name>mapreduce.jobhistory.address</name>
  <value>master:10020</value>
</property>

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver

2、在Sqoop2客户端设置Sqoop2的Server,12000为默认端口

sqoop:000> set server --host master --port 12000 --webapp sqoop

3、准备HDFS和MYSQL上的数据

HDFS上的需要注意，文件夹下只放一个有数据的文件，其它的需要删除

MYSQL上的表需要注意，我这里的数据是用来进行数据分析的，我的业务的原因࿰