Sqoop将数据导入到HDFS（三）

1. 前言

Sqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个命令。
import命令用来将关系型数据库中的表导入到HDFS或者Hive中，表中的每一行在HDFS中被表示为分开的记录，记录可以被存储为txt文件，或者二进制形式的Avro和SequenceFile。

2. 打开MySQL服务

登录MySQL：

选择使用test数据库：

创建表，并插入数据：

create table user(id int,name varchar(20),age int);
insert into user values(1,'lhd',22);
insert into user values(2,'syn',22);
insert into user values(3,'cjb',22);
insert into user values(4,'jl',23);

查看表中数据：

3. 向HDFS中导入数据

1. 创建一个conf1文件，并写入如下内容：

import
--connect
jdbc:mysql://master001:3306/test
--username
hadoop
--password
hadoop
--table
user
--columns
id,name,age
--where
id>0
--target-dir
hdfs://mycluster/sqoop
--delete-target-dir
-m
1
--as-textfile

2. 基于配置文件执行Sqoop，命令：

sqoop --options-file conf1

报错：

19/09/17 08:42:23 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'hadoop'@'master001' (using password: YES)
java.sql.SQLException: Access denied for user 'hadoop'@'master001' (using password: YES)

权限不足，这样做：
进入mysql的操作界面，然后：

grant all privileges on *.* to 'hadoop'@'master001' with grant option;

然后重启mysql服务：

service mysqld restart;

然后接着运行，接着报错：

Error: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: null,  message from server: "Host 'slave002' is not allowed to connect to this MySQL server"

这个BUG我改了一下午一晚上！！！！一会单独出一篇解决一下！！！
具体BUG解决方式见下一篇！！！

4. 成果图

在基于Sqoop执行时，底层是运行的MapReduce，运行完成后，就可以查看导入结果了。

HDFS文件：