sqoop学习

官网（包含文档）

http://sqoop.apache.org/

http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html

基础操作网站

 https://blog.csdn.net/qq_25948717/article/details/81167631 

没有配置hcatalog，介绍hcatalog

https://blog.csdn.net/ancony_/article/details/79903705

也没有配置accumulo，介绍

安装：https://www.cnblogs.com/shoufengwei/p/8627436.html

介绍：https://blog.csdn.net/u011596455/article/details/73732504

一、Sqoop 简介
Apache Sqoop(TM)是一种旨在有效地在 Apache Hadoop 和诸如关系数据库等结构化数据存
储之间传输大量数据的工具。
Sqoop 于 2012 年 3 月孵化出来，现在是一个顶级的 Apache 项目。
最新的稳定版本是 1.4.7。Sqoop2 的最新版本是 1.99.7。请注意，1.99.7 与 1.4.7 不兼容，且
没有特征不完整，它并不打算用于生产部署。
二、Sqoop 原理
将导入或导出命令翻译成 mapreduce 程序来实现。
sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。
核心的功能有两个：
导入、迁入
导出、迁出
导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统
导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一
个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论。
sqoop：
工具：本质就是迁移数据， 迁移的方式：就是把sqoop的迁移命令转换成MR程序
hive
工具，本质就是执行计算，依赖于HDFS存储数据，把SQL转换成MR程序
在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。

三、Sqoop 安装
安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境。
3.1、下载并解压
1) 最新版下载地址：http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/
http://mirror.bit.edu.cn/apache/sqoop/1.4.7/
2) 上传安装包 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 到虚拟机中，如我的上传目录是：
/home/hadoop_home/sqoop-1.4.7
3) 解压 sqoop 安装包到指定目录，如：

$ tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /home/hadoop_home/

3.2、修改配置文件
Sqoop 的配置文件与大多数大数据框架类似，在 sqoop 根目录下的 conf 目录中。
1) 重命名配置文件

$ mv sqoop-env-template.sh sqoop-env.sh
$ mv sqoop-site-template.xml sqoop-site.xml

2) 修改配置文件
sqoop-env.sh

export HADOOP_COMMON_HOME=/home/hadoop/hadoop_home
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop_home
export HIVE_HOME=/home/hadoop/hadoop_home/apache-hive-2.3.4-bin
export ZOOKEEPER_HOME=/home/hadoop/hadoop_home/zookeeper-3.4.9
export ZOOCFGDIR=/home/hadoop/hadoop_home/zookeeper-3.4.9

3.3、拷贝 JDBC 驱动
拷贝 jdbc 驱动到 sqoop 的 lib 目录下，如：

$ cp -a mysql-connector-java-5.1.47-bin.jar ~/hadoop_home /sqoop-1.4.7.bin__hadoop-2.6.0/lib/

3.4、验证 Sqoop
我们可以通过某一个 command 来验证 sqoop 配置是否正确：

 

执行测试mysql

sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password root

会报错

 

然后执行下面的配置权限

配置权限
mysql> GRANT ALL ON *.* TO 'root'@'%' IDENTIFIED BY 'root';

mysql> FLUSH PRIVILEGES;

刷新：/etc/init.d/mysql restart

 再次执行即可

 

 

进入以下界面

cd   /etc/mysql/mysql.conf.d

然后

vi vi mysqld.cnf

 

把最下面的bind-address  =127.0.0.1

注释掉就好（sqoop用到）

Sqoop 的简单使用案例
4.1、导入数据