sqoop的安装及mysql导入到hdfs及MYSQL-HIVE

sqoop的安装步骤：

cd /usr/local/

rz 上面文件

解压 tar xzvf sqoop146n.tar.gz

配置环境变量 vi /etc/profile

生成环境变量 source /etc/profile

最简单的使用文档

1）显示mysql数据库列表

sqoop list-databases --connect "jdbc:mysql://hadoop:3306/?useUnicode=true&characterEncoding=UTF-8" --username root --password root

Hadoop或192.168.16.100 主机名

3306mysql端口号

打开mysql，查询到，说明已经和Mysql连接成功了

显示数据库里所有表:

sqoop list-tables --connect jdbc:mysql://hadoop:3306/hive --username root --password root

测试用例：

建立test表：

create table test1 (id int,name varchar(10)) charset=utf8;

插入测试数据：

insert into test values (1,'北京');

insert into test values (2,'南京');

insert into test values (3,'东京');

insert into test values (4,'西京');

insert into test values (5,'新街口');

insert into test values (6,'五道口');

insert into test values (7,'菜市口');

insert into test values (8,'梅市口');

insert into test values (9,'珠市口');

insert into test values (10,'磁器口');

 

 

此表为空表，仅做导回测试用

create table test2 (id int,name varchar(10)) charset=utf8;

 

（1）mysql导入到hdfs

把mysql中表test导入到hdfs，导入之前查询一下test表中的数据

sqoop import --connect jdbc:mysql://hadoop:3306/test --username root --password root --table test --target-dir /usr/hive/warehouse/test -m 1

 

sqoop import --connect jdbc:mysql://hadoop:3306/test --username root --password root --table test -m 1

-m 表示Map并发数

查看hadoop fs -ls /usr/hive/warehouse/

查看hadoop fs -cat /usr/hive/warehouse/

若是不写--target-dir 则默认是hdfs上的/user/username/tablename 路径

 

（2）HDFS导入到mysql

 

把HDFS中数据导入到Mysql表中，mysql中需要预先建立空表test2，此时该表为空

输入：

sqoop export --connect jdbc:mysql://hadoop:3306/test --table test2 --username root --password root --export-dir hdfs://hadoop:9000/usr/hive/warehouse/test

如果出现乱码就先 truncate table test2;

如果中文乱码

sqoop export --connect "jdbc:mysql://hadoop:3306/test?useUnicode=true&characterEncoding=UTF-8" --table test2 --username root --password root --export-dir hdfs://hadoop:9000/usr/hive/warehouse/test

 

 

(3) MYSQL-HIVE

可用（MYSQL->HIVE）

打开hive

show databases 查看数据库

create database sqoop 建表

下面语句自动生成 test

sqoop import --connect jdbc:mysql://hadoop:3306/test --username root --password root --table test --hive-import --hive-database sqoop --create-hive-table -hive-table test -m 1

sqoop import --connect jdbc:mysql://hadoop:3306/test --username root --password root --table a --hive-import --hive-database hi --create-hive-table -hive-table a -m 1

 

show databases

use sqoop

show tables

use test

 

 

 

RDBMS-HDFS<>HIVE

 

多表导入 尽量不要用

sqoop import-all-tables --connect jdbc:mysql://hadoop:3306/test --username root --password root --as-textfile --warehouse-dir /output/

sqoop import-all-tables --connect jdbc:mysql://hadoop:3306/test --username root --password root --hive-import --as-textfile --create-hive-table -hive-table testsum -m 1

 

sqoop import \

--connect jdbc:mysql://hadoop1:3306/mysql \

--username root \

--password root \

--table x \

--fields-terminated-by "\t" \

--lines-terminated-by "\n" \

--hive-import \

--hive-overwrite \

--create-hive-table \

--delete-target-dir \

--hive-database mydb_test \

--hive-table uplooking1

 

 

sqoop import \

--connect jdbc:mysql://hadoop1:3306/mysql \

--username root \

--password root \

--table x \

--fields-terminated-by "\t" \

--lines-terminated-by "\n" \

--hive-import \

--hive-overwrite \

--create-hive-table \

--hive-table mydb_test.uplooking1 \

--delete-target-dir

 

 

SQOOP-HBASE

 

sqoop import -D sqoop.hbase.add.row.key=true --connect jdbc:mysql://192.168.16.100:3306/uplooking --username root --password root --table test --columns id,name --hbase-create-table --hbase-table test_mydb --column-family info --hbase-row-key ID --where "ID >= 10" -m 1

 

sqoop import \

--connect jdbc:mysql://hadoop1:3306/mysql \

--username root \

--password root \

--table x \

--hbase-table uplooking1 \

--column-family person \

--hbase-row-key x_id

 

(HIVE/HDFS->MYSQL) 万金油语句

 

sqoop-export \

--connect jdbc:mysql://hadoop:3306/test \ 连接名

--username root \ 用户

--password root \ 密码

--table b \ 导入的表

--export-dir /usr/hive/warehouse/a \ 导出文件目录

--columns id,name \ 导出字段 自主选择 如果不加则默认为全表导出

--update-mode allowinsert \ 从这开始以下均不需要考虑

--update-key category_id \

--fields-terminated-by '\001' \

--lines-terminated-by '\n' \

--input-null-string '\\N' \

--input-null-non-string '\\N'

转载于:https://www.cnblogs.com/dasiji/p/11246040.html