sqoop查看mysql表_【Sqoop】介绍、安装、使用（列出MySQL中数据库/表 + mysql数据导入到Hive表 + Hive表数据导出到mysql表）...

目录

一、介绍

功能：Sqoop是一个采集工具。类似于Flume，但是Flume是从一些日志中采集信息，Sqoop是从RDBMS中采集信息。比如Sqoop采集信息到HDFS/Hive。

版本：

Sqoop: 1.4.7 (用)

Sqoop2:  1.99.7(不用)

Sqoop的底层是：MapReduce中的map。

二、安装

步骤如下：

1)地址http://archive.cloudera.com/cdh5/cdh/5/，下载sqoop-1.4.6-cdh5.7.0.tar.gz

2)解压到~/app

3)拷贝MySQL Driver：mysql-connector-java-5.1.27-bin.jar到Hive的安装包下的lib中

4)conf/sqoop-env.sh 配置

[hadoop@hadoop001 conf]$ cp sqoop-env-template.sh sqoop-env.sh

[hadoop@hadoop001 conf]$ vi sqoop-env.sh

export HADOOP_COMMON_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

export HADOOP_MAPRED_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0

export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0

5)vi ~/.bash_profile 配置Sqoop进环境变量

export SQOOP_HOME=/home/hadoop/app/sqoop-1.4.6-cdh5.7.0

export PATH=$SQOOP_HOME/bin:$HIVE_HOME/bin:$HADOOP_HOME

6)使环境变量生效：`source ~/.bash_profile`

7)查看是否配置成功：

[hadoop@hadoop001 bin]$ echo $SQOOP_HOME

/home/hadoop/app/sqoop-1.4.6-cdh5.7.0

三、使用

查看sqoop命令的使用帮助：[hadoop@hadoop001 bin]$ sqoop help

sqoop的导入、导出命令(出发点是Hadoop)：

导入(import)： MySQL ==> Hadoop

导出(export)： Hadoop ==> MySQL

(但是：实际上SparkSpark就可以非常方便的实现读取MySQL中的表进Hadoop中/Hive中)

1、列出MySQL中所有的数据库

sqoop list-databases \

--username root --password 123456 \

--connect jdbc:mysql://localhost:3306/

2、列出MySQL指定数据库下的所有表

sqoop list-tables \

--username root --password 123456 \

--connect jdbc:mysql://localhost:3306/test

3、将MySQL表数据导入进Hive表

sqoop import --help :导入命令的帮助

导入的命令：

sqoop import \

--connect jdbc:mysql://localhost:3306/test06 \   ---mysql的连接

--username root --password root \   ---mysql的连接

--delete-target-dir \  -----建议每次导入的时候加上这个参数，每次以删除的模式导入，对应MR中的输出目录如果存在就报错的异常

--table city_info \    -----读取的mysql的表名

--hive-import \  ---功能是导入

--hive-table city_info \  ----导入hive表的表名

--hive-overwrite \        ----导入表 覆盖的方式

--fields-terminated-by '\t' \  ---表字段分隔符

--lines-terminated-by '\n' \   ---行分隔符

--split-by city_id \  ---指明主键 ，因为Sqoop默认把主键作为map的分片 ，这样可以把mysql中数据根据主键分片

-m 2  ---并行的map的数量(因为Sqoop的导入功能实际上就是MR，只有map过程)

1)MR角度：从导入的过程中就可以看得出来，这个MapReduce作业是只有map的。

2)并行度角度：Sqoop默认的并行度是4，也就是mapper数是4。可以通过-m设置这个MapReduce作业的并行度。Sqoop默认以主键作为map分片，通过--split-by​​​​​​​指明主键mysql中分片的主键。

执行完上述命令之后，mysql中的城市表数据就导入HDFS中了，但是默认导入HDFS的/user/hadoop(用户名)/表名下,而不是hive表对应的路径下，所以还需要将HDFS上的数据hdfs dfs -mv 移动到hive表对应的路径下，这样在hive表中就能查询到数据了。

如果想sqoop导入的数据直接进入hive的表目录下，使用--target-dir /user/hive/warehouse/hive.db/city_info参数就可以了。其中：输出目录不能存在。

现在来测试一下--target-dir参数，导入的命令：

参考：https://blog.csdn.net/finejade1027/article/details/90380038

创建MySQL表：

CREATE TABLE `city_info` (

`id` int(11) DEFAULT NULL,

`name` varchar(255) DEFAULT NULL

) ENGINE=InnoDB DEFAULT CHARSET=utf8;

mysql> insert into city_info(id,name) values(1,"tom");

Query OK, 1 row affected (0.02 sec)

mysql> insert into city_info(id,name) values(2,"mike");

Query OK, 1 row affected (0.00 sec)

导入MySQL数据到HDFS的命令：

sqoop import \

--username root --password 123456 \

--connect jdbc:mysql://localhost:3306/test \

--query "select * from city_info where \$CONDITIONS" \

--target-dir /wordcount/data --fields-terminated-by ',' \

--split-by id -m 1

其中：输出目录不能存在。其中：where \$CONDITIONS是固定的

导入的时候可能提示下面的信息，不用管它，没有关系。把导入的命令写在一行就可以：

Warning: /home/hadoop/app/sqoop-1.4.6-cdh5.7.0/../hbase does not exist! HBase imports will fail.

Please set $HBASE_HOME to the root of your HBase installation.

Warning: /home/hadoop/app/sqoop-1.4.6-cdh5.7.0/../hcatalog does not exist! HCatalog jobs will fail.

Please set $HCAT_HOME to the root of your HCatalog installation.

Warning: /home/hadoop/app/sqoop-1.4.6-cdh5.7.0/../accumulo does not exist! Accumulo imports will fail.

Please set $ACCUMULO_HOME to the root of your Accumulo installation.

Warning: /home/hadoop/app/sqoop-1.4.6-cdh5.7.0/../zookeeper does not exist! Accumulo imports will fail.

Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.

--target-dir /wordcount \

-m 219/08/21 13:25:10 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.7.0

19/08/21 13:25:10 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.

19/08/21 13:25:10 ERROR tool.BaseSqoopTool: Error parsing arguments for import:

19/08/21 13:25:10 ERROR tool.BaseSqoopTool: Unrecognized argument:

实际走的是一个MR，存储到HDFS：

[hadoop@hadoop001 bin]$ hdfs dfs -cat /wordcount/data/p*

1,tom

2,mike

4、将Hive表数据导出进MySQL表

[fanl@centos7 sqoop-1.4.6-cdh5.14.2]$ bin/sqoop export \

--connect jdbc:mysql://127.0.0.1:3306/sqoop \

--username root \

--password 123456 \

--table logs_result \------>mysql的表

--export-dir '/user/hive/warehouse/weblogs.db/logs_result' \----->hive中表的路径

--num-mappers 2  \------->Sqoop的并行度

--input-fields-terminated-by '\001'

## hive默认的分隔符：\001