【Sqoop】sqoop导入导出

最新推荐文章于 2024-05-08 19:32:28 发布
最新推荐文章于 2024-05-08 19:32:28 发布
阅读量288 收藏
点赞数
分类专栏： Sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nextaction/article/details/104437529
版权

本文简单介绍Sqoop如下操作：

Import：

​ rdbms导入HDFS;

​ rdbms导入Hive；

​ rdbms导入Hbase；

Export：

​ Hive导出到rdbms；

​ Hbase导出到rdbms；

其中，rdbms以mysql数据库为例。

环境准备

mysql中建库、建表并插入测试数据：

create database userdb;
use userdb;

create table emp(
id int(11) default null,
name varchar(100) default null,
deg varchar(100) default null,
salary int(11) default null,
dept varchar(10) default null,
create_time timestamp not null default current_timestamp,
update_time timestamp not null default current_timestamp on update current_timestamp,
is_delete bigint(20) default '1'
)
engine = innodb default charset=latin1;

insert into emp(id,name,deg,salary,dept) values (1201,'gopal','manager',50000,'TP'),
(1202,'manisha','Proof reader',50000,'TP'),
(1203,'khalil','php dev',30000,'AC'),
(1204,'prasanth','php dev',30000,'AC'),
(1205,'kranthi','admin',20000,'TP');

一、Import

1. rdbms导入HDFS;

–target-dir: 指定目标路径

–delete-tartget-dir：如果目标路径存在，先删除

–fields-terminated-by: 指定字段间的分隔符

1.1 全表导入

需求：导出emp表到HDFS的/sqoop/import/emp

Sqoop命令行导入：

cd /hadoop/install/sqoop-1.4.6-cdh5.14.2/

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table emp \
--delete-target-dir \
--target-dir /sqoop/import/emp \
--fields-terminated-by ',' \
-m 1

查看导入数据：

hdfs dfs -cat /sqoop/import/emp/part*

1201,gopal,manager,50000,TP,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1
1202,manisha,Proof reader,50000,TP,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1
1203,khalil,php dev,30000,AC,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1
1204,prasanth,php dev,30000,AC,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1
1205,kranthi,admin,20000,TP,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1

1.2 where条件导入

Sqoop命令行导入：

cd /hadoop/install/sqoop-1.4.6-cdh5.14.2/

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table emp \
--where "id=1202" \
--delete-target-dir \
--target-dir /sqoop/import/emp \
--fields-terminated-by ',' \
-m 1

查看导入数据：

hdfs dfs -cat /sqoop/import/emp/part*

1202,manisha,Proof reader,50000,TP,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1

1.3 query子查询导入

当使用query导入时需要注意以下几点:

(1) 无需–table 参数

(2)需要where条件

(3)需要$CONDITIONS，java程序用于拼接其他代码

Sqoop命令行导入：

cd /hadoop/install/sqoop-1.4.6-cdh5.14.2/

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--query 'select * from emp where 1=1 and $CONDITIONS' \
--delete-target-dir \
--target-dir /sqoop/import/emp \
--fields-terminated-by ',' \
-m 1

查看导入数据：

hdfs dfs -cat /sqoop/import/emp/part*

1201,gopal,manager,50000,TP,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1
1202,manisha,Proof reader,50000,TP,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1
1203,khalil,php dev,30000,AC,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1
1204,prasanth,php dev,30000,AC,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1
1205,kranthi,admin,20000,TP,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1

2. rdbms导入Hive；

拷贝Hive jar包到Sqoop 的lib目录：

cp /hadoop/install/hive-1.1.0-cdh5.14.0/lib/hive-exec-1.1.0-cdh5.14.2.jar /hadoop/install/sqoop-1.4.6-cdh5.14.2/lib/

创建Hive表：

Hive表如不创建，导入时自动创建mysql中同构表。

大家可以根据实际情况创建，此文选择不创建。

Sqoop命令行导入：

cd /hadoop/install/sqoop-1.4.6-cdh5.14.2/

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table emp \
--hive-import \
--hive-table test.emp_hive \
--fields-terminated-by ',' \
-m 1

查看导入数据：

select id, name, salary from test.emp_hive;

+-------+-----------+---------+--+
|  id   |   name    | salary  |
+-------+-----------+---------+--+
| 1201  | gopal     | 50000   |
| 1202  | manisha   | 50000   |
| 1203  | khalil    | 30000   |
| 1204  | prasanth  | 30000   |
| 1205  | kranthi   | 20000   |
+-------+-----------+---------+--+

3. rdbms导入Hbase；

修改sqoop-env.sh

#添加Hbase环境变量

#set the path to where bin/hbase is available
export HBASE_HOME=/hadoop/install/hbase-1.2.0-cdh5.14.2

Sqoop命令行导入：

cd /hadoop/install/sqoop-1.4.6-cdh5.14.2/

bin/sqoop import \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table emp \
--columns "id,name,deg,salary,dept,create_time,update_time,is_delete" \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "emp_hbase" \
--split-by id \
-m 1

查看导入数据：

scan 'emp_hbase'

二、 Export

1. Hive导出到rdbms；

HDFS中 /sqoop/import/emp/part-m-00000 如下数据：

1203,khalil,php dev,30000,AC,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1
1204,prasanth,php dev,30000,AC,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1
1205,kranthi,admin,20000,TP,2020-02-21 00:15:24.0,2020-02-21 00:15:24.0,1

mysql创建表:

create table emp_exp(
id int(11) default null,
name varchar(100) default null,
deg varchar(100) default null,
salary int(11) default null,
dept varchar(10) default null,
create_time timestamp not null default current_timestamp,
update_time timestamp not null default current_timestamp on update current_timestamp,
is_delete bigint(20) default '1'
)
engine = innodb default charset=latin1;

Sqoop命令行导入：

cd /hadoop/install/sqoop-1.4.6-cdh5.14.2/

bin/sqoop export \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table emp_exp \
--export-dir /sqoop/import/emp/part-m-00000 \
--input-fields-terminated-by ","

查看导入数据：

select id,name,salary from emp_exp;
+------+----------+--------+
| id   | name     | salary |
+------+----------+--------+
| 1205 | kranthi  |  20000 |
| 1201 | gopal    |  50000 |
| 1202 | manisha  |  50000 |
| 1203 | khalil   |  30000 |
| 1204 | prasanth |  30000 |
+------+----------+--------+

2. Hbase导出到rdbms；

因Sqoop不能识别Hfile，所以采用如下方式导出：

Hbase -> Hive外部表 -> Hive内部表 -> rdbms

创建Hive外部表：

create external table test.hbase2mysql
(id int,
 name string,
 deg string,
 salary int,
 dept string,
 create_time string,
 update_time string,
 is_delete int
 )
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties ("hbase.columns.mapping" = ":key,info:name,info:deg,info:salary,info:dept,info:create_time,info:update_time,info:is_delete")
tblproperties ("hbase.table.name" = "emp_hbase",
"hbase.mapred.output.outputtable" = "hbase2mysql");

创建Hive内部表，并插入数据:

create table test.hive2mysql as select * from test.hbase2mysql;

Sqoop命令行导入：

cd /hadoop/install/sqoop-1.4.6-cdh5.14.2/

bin/sqoop export \
--connect jdbc:mysql://node03:3306/userdb \
--username root \
--password 123456 \
--table emp_exp \
--export-dir /user/hive/warehouse/test.db/hive2mysql \
--input-fields-terminated-by '\001' \
--input-null-string '\\N' \
--input-null-non-string '\\N'

查看导入数据：

select id,name,salary from emp_exp;
+------+----------+--------+
| id   | name     | salary |
+------+----------+--------+
| 1205 | kranthi  |  20000 |
| 1201 | gopal    |  50000 |
| 1202 | manisha  |  50000 |
| 1203 | khalil   |  30000 |
| 1204 | prasanth |  30000 |
+------+----------+--------+

总结：

Sqoop具有丰富的参数，因篇幅原因，本文不能全部列举。
实际运用中，可以使用sqoop import help或者sqoop export help 查看参数。

卜塔
关注
专栏目录
Sqoop导入导出原理与代码实例讲解
程序员光剑
06-02 757
Sqoop导入导出原理与代码实例讲解 1. 背景介绍 1.1 大数据时代的数据交换需求 在大数据时代,数据已经成为企业的核心资产之一。企业需要从各种异构数据源中获取数据,并将这些数据导入到大数据平台中进行分析和处理。同时,处理
sqoop动态分区导入mysql_sqoop导入导出实例以及多分区案例
weixin_34614674的博客
02-04 680
1.从mysql导出到hive1.只插入sqoop import \--connect jdbc:mysql://localhost:3306/test \--username escheduler_dev \--password 2wsxVFR$ \--query "select id as id,name as name,age as age from a_dem...
Sqoop导入与导出数据
m0_51691291的博客
12-06 5137
1、Sqoop部署 基础环境：hadoop完全分布式集群、hive、zookeeper、hbase 1.1、下载安装包 官网下载安装包：官网链接地址 将下载好的安装包上传至Linux，解压并修改名称 1.2、修改配置文件 进入Sqoop的conf目录下 复制文件并重命名 cp sqoop-env-template.sh sqoop-env.sh 修改sqoop-env.sh文件，并添加如下内容，具体路径应灵活修改 export HADOOP_COMMON_HOME=/usr/local/soft/hado
sqoop导入导出
keepon的博客
07-19 333
1.列出有多少数据库 sqoop list-databases \ –connect jdbc:mysql://192.168.85.3:3306/hadoop \ –username root \ –password Caofeng2012@ 2.简单导入HDFS sqoop import \ –connect jdbc:mysql://192.168.85.3:3306/h...
Sqoop导入导出
最新发布
qq_63834914的博客
05-08 231
Sqoop是一个用于在Hadoop和关系数据库之间进行数据传输的工具。它可以将关系数据库中的数据导入到Hadoop的HDFS、Hive或HBase中，也可以将Hadoop中的数据导出到关系数据库中。在大数据场景下，Sqoop可以帮助我们轻松地实现数据的迁移和同步。
sqoop的导入导出
qq_28286027的博客
03-02 188
1.Sqoop的数据导入 在mysql中有一个库userdb中三个表：emp,emp_add和emp_contact 表emp: id name deg salary dept 1201 gopal manager ...
Sqoop导入导出数据
Li_and_Li的博客
06-29 804
Sqoop 安装部署 sqoop相关配置 测试Sqoop 从mariadb导入到HDFS 从HDFS导出到mariadb 从mariadb导入HBase 从HBase导出到mariadb 从mariadb导入Hive 从Hive到导出到mariadb Sqoop 安装部署 sqoop –> 1.4.7 hadoop –>2.7.5 默认系...
23-Sqoop数据导入导出1
08-08
### Sqoop导入原理 1. **JDBC检查**：在开始导入前，Sqoop通过JDBC连接数据库，获取表结构和列信息，如数据类型，将其映射为Java类型。 2. **代码生成器**： Sqoop根据表信息生成Java类，用于存储从数据库抽取的...
Sqoop 导入导出 Null 存储一致性问题
JustinMars的博客
07-30 468
sqoop面试技巧
Sqoop的数据导入与导出
feizuiku0116的博客
10-27 331
一、导入数据库表数据到HDFS 从MySQL数据库服务器中的emp表导入HDFS。 注意，mysql地址必须为服务器IP，不能是localhost或者机器名。/usr/bin/sqoop import \ --connect jdbc:mysql://192.168.88.80:3306/test \ --password 123456 \ --username root \ --table emp \ --m 1 二、导入到HDFS指定目录 /usr/bin/sqoop import \ --co
Sqoop的导入和导出操作
zhm_feng
03-18 734
sqoop导出操作 HDFS上的数据/user/root/empdata 001,15012454745,zhangsan@163.com 002,13512454746,lisi@wolfcode.cn 003,15812454747,wangwu@qq.com 1.修改远程登录mysql的配置 use mysql; select host from user where user='root'...
Sqoop导入导出使用
互联网知识分享
07-30 223
Sqoop是一个开源的工具，用于在Hadoop和关系型数据库之间进行数据传输。它使得将结构化数据导入到Hadoop生态系统中变得非常容易，并且可以将处理后的数据重新导回到关系型数据库中。1.1 Sqoop是什么？Sqoop是一种用于在和关系数据库之间传输数据的工具。它可以将关系型数据库（如MySQLOracle等）中的数据导入到Hadoop的HDFS中，并支持反向导出数据。它利用了关系数据库和Hadoop生态系统之间的互操作性，使得数据传输变得简单快速。
Sqoop安装和导入导出
lemon
01-14 1581
Sqoop安装和导入导出 一，介绍 ​ Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库*（例如 ： MySQL ,Oracle ,Postgres等）*中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 版本：(两个版本完全不兼容，sq...
Sqoop导入与导出底层
晓晓白熊的博客
12-04 1637
1.Sqoop导入底层工作原理 （1）在导入前，Sqoop使用JDBC来检查将要导入的数据表。 （2）Sqoop检索出表中所有的列以及列的SQL数据类型。 （3）把这些SQL类型的映射到java数据类型，例如（VARCHAR、INTEGER）———>（String，Integer）。 （4）在MapReduce应用中将使用这些对应的java类型来保存字段的值。
sqoop的导入导出使用(详情步骤)
weixin_62369128的博客
06-27 2776
sqoop的导入与导出功能（import、export）。
sqoop导入导出数据命令详情
SCGH_Fx的专栏
09-03 553
sqoop 导入导出数据命令参数详解 1. 从关系数据库中导入到hdfs中 sqoop import \ --connect<jdbc-uri> 指的是连接地址，这里面是mysql服务器的地址； --username<username> 数据库用户名 --password<password> 数据库密码 --target-dir<dir> 导入到哪一个HDFS目录 --table<table-name> 导入关系型数据库哪一张表的数
sqoop导入和导出数据操作（保姆级教程）
wanjialin的博客
11-24 8572
导入： 一、将mysql数据库中的表数据导入到HDFS 表数据和格式如下： 1、首先现在hdfs中创建目录，用于导入后存放数据 hdfs dfs -mkdir /sqooptest hdfs dfs -mkdir /sqooptest/demo1 使用sqoop import 命令将MySQL中的表导入到hdfs中 sqoop import \ --connect jdbc:mysql://nnode1:3306/stu \ --username root \ --password 123123 \ --
Sqoop导入导出数据简单案例详解
weixin_38023225的博客
10-18 897
1 导入数据 在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。 1.1 RDBMS到HDFS 1.1.1 确定Mysql服务开启正常 1.1.2 在Mysql中新建一张表并插入一些数据 mysql> create database school; mysql> cre...
使用Sqoop从Mysql导入数据到HDFS
Sqoop的工作原理是通过将用户的导入或导出指令转换为MapReduce任务来执行。它定制了InputFormat和OutputFormat，以便适配不同的数据源和目标，使得数据能在Hadoop和RDBMS之间高效地流动。 对于从RDBMS到HDFS的数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值