Sqoop介绍:
sqoop是Apache 提供的工具
用于hdfs和关系型数据库之间数据的导出和导入
可以从hdfs导出数据到关系型数据库,也可以从关系型数据库导入数据到hdfs。
实现步骤:
1.准备sqoop安装包,官网地址:http://sqoop.apache.org
2.配置jdk环境变量和Hadoop的环境变量。因为sqoop在使用是会去找环境变量对应的路径,从而完整工作。
3.sqoop解压即可使用(前提是环境变量都配好了)
4.需要将要连接的数据库的驱动包加入sqoop的lib目录下(本例中用的是mysql数据库)
5.利用指令操作sqoop
Sqoop基础指令(在Sqoop的bin目录下执行下列指令):
1.关系型数据库==>hdfs
sh sqoop import -help(查看import的帮助指令)
实现步骤:
1.在mysql数据库的mydb1数据下建立一张tabx表,并插入测试数据
建表:create table tabx (id int,name varchar(20));
插入:insert into tabx (id,name) values (1,‘aaa’),(2,‘bbb’),(3,‘ccc’),(1,‘ddd’),(2,‘eee’),(3,‘fff’);
2.进入到sqoop的bin目录下,执行导入语句
导入:
sh sqoop import --connect jdbc:mysql://192.168.234.21:3306/mydb1 --username root --password root --table tabx --target-dir ‘/sqoop/tabx’ --fields-terminated-by ‘|’ --split-by id;
此外,–split-by id表示的是tabx表在导入hdfs时分区的原则。本例是按id字段切分。
如果不想分区,则把–split-by id 替换成 -m 1即可。
sh sqoop import --connect jdbc:mysql://192.168.234.21:3306/mydb1 --username root --password root --table tabx --target-dir ‘/sqoop/tabx’ --fields-terminated-by ‘|’ -m 1;
2.hdfs==>关系型数据库
执行:sh sqoop export --connect jdbc:mysql://192.168.234.243:3306/mydb1 --username root --password root --export-dir ‘/sqoop/tabx’ --table taby -m 1 --fields-terminated-by ‘|’
注:sqoop只能导出数据,不能自动建表。所以在导出之前,要现在mysql数据库里建好对应的表,-m表示忽略权限