Sqoop导入导出数据简单案例详解

最新推荐文章于 2023-06-27 01:25:41 发布
最新推荐文章于 2023-06-27 01:25:41 发布
阅读量866 收藏 2
点赞数
分类专栏： Sqoop 文章标签： Sqoop 案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38023225/article/details/102622179
版权

1 导入数据

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。

1.1 RDBMS到HDFS

1.1.1 确定Mysql服务开启正常

1.1.2 在Mysql中新建一张表并插入一些数据

mysql> create database school;
mysql> create table school.student(id int(4) primary key not null auto_increment,name varchar(255),sex varchar(255));
mysql> insert into school.student(name,sex) values('LY','female');
mysql> insert into school.student(name,sex) values('CMH','male'); 
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| metastore          |
| mysql              |
| performance_schema |
| school             |
| test               |
+--------------------+
6 rows in set (0.00 sec)

mysql> use school;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> show tables;
+------------------+
| Tables_in_school |
+------------------+
| student          |
+------------------+
1 row in set (0.00 sec)

mysql> select * from student;
+----+------+--------+
| id | name | sex    |
+----+------+--------+
|  1 | LY   | female |
|  2 | CMH  | male   |
+----+------+--------+
2 rows in set (0.00 sec)

1.1.3 导入数据

1）全部导入

[caimh@master-node sqoop-1.4.6]$ bin/sqoop import \
> --connect jdbc:mysql://master-node:3306/school \
> --username root \
> --password 111111 \
> --table student \
> --target-dir /user/school \
> --delete-target-dir \
> --num-mappers 1 \
> --fields-terminated-by "\t"

注意：linux命令换行输入，空格+'\'，再输入enter键即可。否则，直接执行命令了。

查看HDFS，如下图，数据已经导入。

2）查询导入

[caimh@master-node sqoop-1.4.6]$ bin/sqoop import \
> --connect jdbc:mysql://master-node:3306/school \
> --username root \
> --password 111111 \
> --target-dir /user/school \
> --delete-target-dir \
> --num-mappers 1 \
> --fields-terminated-by "\t" \
> --query 'select name,sex from student where id <=1 and $CONDITIONS;'

提示1：must contain '$CONDITIONS' in WHERE clause.保证多个mapper最终输出的数据市有序的。

提示2：如果query后使用的是双引号，则$CONDITIONS前必须加转义符，防止shell识别为自己的变量。

提示3：--query选项，不能同时与--table选项使用

HDFS查询数据，如下图显示

3）导入指定列

[caimh@master-node sqoop-1.4.6]$ bin/sqoop import \
> --connect jdbc:mysql://master-node:3306/school \
> --username root \
> --password 111111 \
> --target-dir /user/school \
> --delete-target-dir \
> --num-mappers 1 \
> --fields-terminated-by "\t" \
> --columns id,sex \
> --table student

提示：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格

查看HDFS数据，如下图

4）使用sqoop关键字筛选查询导入数据

[caimh@master-node sqoop-1.4.6]$ bin/sqoop import \
> --connect jdbc:mysql://master-node:3306/school \
> --username root \
> --password 111111 \
> --target-dir /user/school \
> --delete-target-dir \
> --num-mappers 1 \
> --fields-terminated-by "\t" \
> --table student \
> --where "id=1"

提示：在Sqoop中可以使用sqoop import -D property.name=property.value这样的方式加入执行任务的参数，多个参数用空格隔开。

查看HDFS数据，如下图

1.2 RDBMS到Hive

[caimh@master-node sqoop-1.4.6]$ bin/sqoop import \
> --connect jdbc:mysql://master-node:3306/school \
> --username root \
> --password 111111 \
> --table student \
> --num-mappers 1 \
> --hive-import \
> --fields-terminated-by "\t" \
> --hive-overwrite \
> --hive-table student_hive

提示：该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库

提示：第一步默认的临时目录是/user/admin/表名

运行过程中，查看HDFS临时目录

查看hive数据，已经生成了student_hive表

问题：我导入数据的时候报错，详见下面问题1

1.3 RDBMS到HBASE

（1）启动hbase

[caimh@master-node hbase-1.3.1]$ bin/start-hbase.sh            --启动hbase

(2)执行导入命令 

[caimh@master-node sqoop-1.4.6]$ bin/sqoop import \
> --connect jdbc:mysql://master-node:3306/school \
> --username root \
> --password 111111 \
> --table student \
> --columns "id,name,sex" \
> --column-family "info" \
> --hbase-create-table \
> --hbase-row-key "id" \
> --hbase-table "hbase_student" \
> --num-mappers 1

提示：sqoop1.4.6只支持HBase1.0.1之前的版本的自动创建HBase表的功能（jar包不兼容）

解决方案：手动创建HBase表

hbase(main):002:0> create 'hbase_student','info'           --创建hbase_student表
hbase(main):003:0> list                                    --查看
TABLE                                                                                                                                    
hbase_student                                                                                                                            
user_info                                                                                                                                
2 row(s) in 0.0210 seconds

=> ["hbase_student", "user_info"]

  执行导入命令过程中报错了，见下面问题2

（3）再次执行导入命令，在HBase中scan这张表得到如下内容

hbase(main):004:0> scan 'hbase_student'
ROW                                 COLUMN+CELL                                                                                          
 1                                  column=info:name, timestamp=1571333312429, value=LY                                                  
 1                                  column=info:sex, timestamp=1571333312429, value=female                                               
 2                                  column=info:name, timestamp=1571333312429, value=CMH                                                 
 2                                  column=info:sex, timestamp=1571333312429, value=male                                                 
2 row(s) in 0.4900 seconds

hbase(main):005:0>

2 导出数据

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。

2.1  HIVE/HDFS到RDBMS

(1)执行导出数据命令。（由于已经存在student表，所以这里用student_cp表操作）

bin/sqoop export \
--connect jdbc:mysql://master-node:3306/school \
--username root \
--password 111111 \
--table student_cp \
--num-mappers 1 \
--export-dir /user/hive/warehouse/student_hive \
--input-fields-terminated-by "\t"

提示：Mysql中如果表不存在，不会自动创建

解决方案：创建student_cp表

mysql> create table school.student_cp(id int(4) primary key not null auto_increment,name varchar(255),sex varchar(255))
    -> ;
Query OK, 0 rows affected (0.05 sec)
mysql> show tables;
+------------------+
| Tables_in_school |
+------------------+
| student          |
| student_cp       |
+------------------+
2 rows in set (0.00 sec)

mysql> describe student_cp;
+-------+--------------+------+-----+---------+----------------+
| Field | Type         | Null | Key | Default | Extra          |
+-------+--------------+------+-----+---------+----------------+
| id    | int(4)       | NO   | PRI | NULL    | auto_increment |
| name  | varchar(255) | YES  |     | NULL    |                |
| sex   | varchar(255) | YES  |     | NULL    |                |
+-------+--------------+------+-----+---------+----------------+
3 rows in set (0.00 sec)

（2）再次执行（1）命令，查看数据

mysql> select * from student_cp;
+----+------+--------+
| id | name | sex    |
+----+------+--------+
|  1 | LY   | female |
|  2 | CMH  | male   |
+----+------+--------+
2 rows in set (0.01 sec)

3 脚本打包

使用opt格式的文件打包sqoop命令，然后执行。

通常，不会手动去执行一个任务，每天定时任务去执行任务，将任务打包到文件中，通过sqoop执行。

（1）创建一个.opt文件,编写sqoop脚本

[caimh@master-node sqoop-1.4.6]$ mkdir opt 
[caimh@master-node sqoop-1.4.6]$ vim opt/job_hdfs2rdbms.opt
export
--connect
jdbc:mysql://master-node:3306/school
--username
root
--password
111111
--table
student
--num-mappers
1
--export-dir
/user/hive/warehouse/student_hive
--input-fields-terminated-by
"\t"

（2）执行该脚本

由于之前student表中有数据，首先清空表student数据

mysql> truncate table student;
Query OK, 0 rows affected (0.04 sec)

mysql> select * from student;
Empty set (0.00 sec)
[caimh@master-node sqoop-1.4.6]$ bin/sqoop --options-file opt/job_hdfs2rdbms.opt

（3）检查数据

mysql> select * from student;
+----+------+--------+
| id | name | sex    |
+----+------+--------+
|  1 | LY   | female |
|  2 | CMH  | male   |
+----+------+--------+
2 rows in set (0.01 sec)

4 问题

问题1：ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Cannot run program "hive": error=2, 没有那个文件或目录。

原因分析：

这个异常 Cannot run program "hive": error=2, No such file or directory是说Sqoop没有找到Hive，原因是hive没有设置环境变量

解决方案：

1.vim /etc/profile  （切换root用户）

2.source /etc/profile

[caimh@master-node ~]$ sudo vim /etc/profile
[caimh@master-node ~]$ source /etc/profile
#HIVE_HOME配置
export HIVE_HOME=/opt/module/hive-1.2.2
export PATH=$PATH:$HIVE_HOME/bin

问题2：ERROR tool.ImportTool: Error during import: HBase jars are not present in classpath, cannot import to HBase!

导入期间出错：类路径中不存在HBase jar，无法将其导入到HBase

原因分析：

类路径中找不到运行需要的HBase相关jar包，在/etc/profile中没有设置HBASE环境变量（HBASE_HOME,PATH）

解决方案：

在/etc/profile中设置HBASE环境变量

[caimh@master-node sqoop-1.4.6]$ sudo vim /etc/profile
#HBASE_HOME配置
export HBASE_HOME=/opt/module/hbase-1.3.1
export PATH=$PATH:$HBASE_HOME/bin
[caimh@master-node sqoop-1.4.6]$ source /etc/profile

 

月正明
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Sqoop导出
Guoxiang1030_的博客
12-03 395
将数据从Hadoop生态体系导出到RDBMS数据库导出前，目标表必须存在于目标数据库中。 export有三种模式： 默认操作是从将文件中的数据使用INSERT语句插入到表中。 更新模式：Sqoop将生成UPDATE替换数据库中现有记录的语句。 调用模式：Sqoop将为每条记录创建一个存储过程调用。 以下是export命令语法： $ sqoop export (generic-args) (expo...
sqoop导入数据到hive中，数据不一致
05-04
NULL 博文链接：https://kingding.iteye.com/blog/2435018
23-Sqoop数据导入导出1
08-08
2. 练习使用Sqoop将数据从Mysql中导入到HBase中 3. 练习使用Sqoop将数据在Mysql与Hive之间的导入导出 4. Sqoop上的操作举例
sqoop: truncate table prior export data from hdfs
术业有专攻
01-06 535
We are using Sqoop to export data from the hive to SQL Server. The new data is always appended to the existing data in SQL Server. Is it possible to truncate the SQL Server table via Sqoop before...
mysql用shell脚本链接数据库进行操作
weixin_33895475的博客
11-15 493
使用 mysql -e 参数可以执行各种 sql 的各种操作语句。不用在mysql的提示符下运行mysql，即可以在shell中操作mysql的方法。 　　格式：mysql -hhostname -Pport -uusername -ppassword -e “” 　　 #!/bin/bash　　 HOSTNAME="192.168.70.161" #数...
sqoop导入和导出数据操作（保姆级教程）
wanjialin的博客
11-24 7726
导入： 一、将mysql数据库中的表数据导入到HDFS 表数据和格式如下： 1、首先现在hdfs中创建目录，用于导入后存放数据 hdfs dfs -mkdir /sqooptest hdfs dfs -mkdir /sqooptest/demo1 使用sqoop import 命令将MySQL中的表导入到hdfs中 sqoop import \ --connect jdbc:mysql://nnode1:3306/stu \ --username root \ --password 123123 \ --
Sqoop 的导入、导出 使用方法
あずにゃん梓喵的博客
03-14 2257
Sqoop 导入：把MySQL数据库表中数据 导入到 hive数据库表中(hdfs文件系统路径下的结构化数据文件中) 1.创建数据库：userdb 2.导入 userdb.sql 到 userdb数据库中 3.把 MySQL数据库中的 某表数据 导入到 HDFS 1.格式：（在所安装的sqoop根目录下执行命令） bin/sqoop import \ ...
sqoop数据导出、脚本使用
dafsq的博客
04-13 708
sqoop数据导出、脚本使用
实战Sqoop数据导入及大数据用户行为案例分析
02-20
实战Sqoop数据导入及大数据用户行为案例分析（全套视频+代码+工具+课件讲义） 内容包括： 01_CDH版本框架的介绍 02_CDH版本框架的环境部署 03_Sqoop的介绍及其实现原理 04_Sqoop的安装部署及连接测试 05_Sqoop将...
Sqoop 导入数据异常处理
01-07
写在前面 我在直接下载https://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.7.0.tar.gz 解压使用会出现几个bug，之前也是出现了，然后也没有来...这是因为sqoop缺少java-json.jar包 下载java-json.jar包： http
大数据实践-sqoop数据导入导出.doc
04-17
实践报告
【头歌】Sqoop数据导出 - 详解
梦想编程家博客
03-30 2699
【主要内容】Sqoop数据导出语法学习；HDFS数据导出至Mysql内；Hive数据导出至MySQL中。 【实践内容】Sqoop数据导出语法实践与详解。
sqoop基本语法简介及导入导出详细步骤
我是泛滥
05-21 1393
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | hivedb | | mysql | | performance_schema | +--------------------+ 4 rows in set (0.11 sec) mysql> create dat
七十五、Sqoop——Sqoop导入数据和导出数据（内有每条语句的截图，一目了然）
tiantang2renjian的博客
11-24 1646
Sqoop导入数据和导出数据
java.io.IOException: Cannot run program error=2, No such file or directory
热门推荐
shyrainxy的专栏
07-09 2万+
假设你在shell下要执行abc.sh -c conf download hive --query "select" -f file,这时候如果在java的processbuilder中需要调用该shell命令要如何处理呢？ 错误一： args[0]="abc.sh -c conf download hive --query "select" -f file" 将整个命令拼成一个字符串，这个是错误的做法 错误二： args[0]=abc.sh args[1]=-c conf 将部分命令拼成一个
Sqoop数据导入
Onzswhite的博客
11-24 874
Sqoop数据导入
【头歌】Sqoop数据导入 - 详解
梦想编程家博客
03-30 5318
【主要内容】Sqoop数据导入语法学习；Mysql导入数据至HDFS上；Mysql导入数据至Hive中。 【实践内容】全过程解析及部分异常处理办法。
sqoop的导入导出使用(详情步骤)
最新发布
weixin_62369128的博客
06-27 2154
sqoop的导入与导出功能（import、export）。
Sqoop导入导出操作介绍
04-04
Sqoop是一个用来将关系型数据库中的数据导入到Hadoop分布式文件系统中的工具，也可以将Hadoop分布式文件系统中的数据导出到关系型数据库中。Sqoop可以处理多个关系型数据库的导入导出，包括MySQL、Oracle、PostgreSQL、SQL Server等。 Sqoop导入操作： 1. 首先需要安装Sqoop，并配置好相关参数，比如数据库连接信息、Hadoop集群信息等。 2. 使用Sqoop的import命令来指定需要导入的数据表、目标路径等参数。可以选择导入全表数据，也可以指定导入部分数据。 3. Sqoop会自动将数据表中的数据按照指定的格式导入到Hadoop分布式文件系统中。 Sqoop导出操作： 1. 首先需要安装Sqoop，并配置好相关参数，包括数据库连接信息、Hadoop集群信息等。 2. 使用Sqoop的export命令来指定需要导出的数据表、目标路径等参数。可以选择导出全表数据，也可以指定导出部分数据。 3. Sqoop会自动将Hadoop分布式文件系统中的数据按照指定的格式导出到关系型数据库中。 需要注意的是，Sqoop导入导出操作的效率受到多种因素的影响，比如网络带宽、数据库性能等。在实际应用中，需要根据具体情况进行调优。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值