Sqoop的使用

最新推荐文章于 2024-06-17 08:30:00 发布
最新推荐文章于 2024-06-17 08:30:00 发布
阅读量75 收藏 2
点赞数
文章标签： sqoop hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59651968/article/details/134078992
版权

Sqoop的使用

1、介绍

1、sqoop介绍

sqoop是Apache旗下的一款 Hadoop和关系型数据库服务器之间传输数据的工具。

  • 导入数据（import）：MySQL、Oracle导入数据到hadoop的HDFS、Hive、HBase等数据存储系统
  • 导出数据（export）：从Hadoop的文件系统中导出到关系型数据库中

2、sqoop架构

在这里插入图片描述

3、sqoop命令解析

  • 常用命令

    命令名称对应类命令说明
    importImportTool将关系型数据库数据导入到HDFS、HIVE、HBASE
    exportExportTool将HDFS上的数据导出到关系型数据库
    codegenCodeGenTool获取数据库中某张表生成java并打成jar包
    create-hive-tableCreateHiveTool创建Hive表
    evalEvalSqlTool查看SQL执行结果
    list-databasesListDatabasesTool列出所有数据库
    list-tablesListTablesTool列出所有数据表
    helpHelpTool打印sqoop帮助信息
    versionVersionTool打印sqoop版本信息

  • 常用参数

    ArgumentDescription
    --connect <jdbc-url>指定JDBC连接字符串
    --connect-manager <class-name>指定要使用的连接管理器类
    --driver <class-name>指定要使用的JDBC驱动类
    --hadoop-mapred-home <dir>指定$HADOOP_MAPRED_HOME路径
    --password-file设置用于存放认证密码信息文件的路径
    -P从控制台读取输入密码
    --password <password>设置认证密码
    --username <username>设置认证用户名
    --verbose打印运行信息
    --connection-param-file <filename>指定存储数据库连接参数的属性文件

  • 举个例子

    # 查询指定数据库下所有表
sqoop list-tables --connect jdbc:mysql://localhost:3306/hive_meta --username root --password 12345

2、Sqoop的安装

  1. 解压并修改配置文件

    # 上传压缩包，解压
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/
# 改名字
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.6
# 修改配置文件，在sqoop的conf目录下，先将模板复制成sqoop-env.sh
cp sqoop-env-template.sh sqoop-env.sh
# 修改sqoop-env.sh
vim sqoop-env.sh

在这里插入图片描述

  1. 添加mysql的驱动到sqoop的lib目录下

  2. 配置sqoop环境变量

    # 打开配置文件
vim /etc/profile
# 添加下面两行
export SQOOP_HOME=/opt/module/sqoop-1.4.6
export PATH=$PATH:$SQOOP_HOME/bin
# 重新加载环境变量
source /etc/profile

  3. 测试sqoop能否接通MySQL

    sqoop list-databases --connect jdbc:mysql://192.168.48.10:3306 --username root --password 123456

在这里插入图片描述

3、sqoop应用

1、eval查看sql语句查询结果

sqoop eval \
--connect jdbc:mysql://localhost:3306/sqoop_db \
--username root \
--password 12345 \
--query 'select * from mysql_gxm limit 20'

2、create-hive-table创建hive表

# 依据mysql的mysql_gxm表在hive的hivedatabase数据库中创建hive_gxm表，只是创建，没有数据
sqoop create-hive-table \
--connect jdbc:mysql://localhost:3306/sqoop_db \
--username root \
--password 12345 \
--table mysql_gxm
--hive-table hivedatabase.hive_gxm

3、import将数据导入HDFS

# 语法
sqoop import \
--connect 数据库连接字符串 \
--username 数据库用户名 \
--password 数据库密码 \
--target-dir HDFS位置 \
--delete-target-dir \
--fields-terminated-by 指定分割符 \
--num-mappers 指定MapReduce中map的数量 \
--split-by 切分数据分给各个map的依据 \
--query '查询语句'

注意： --query 或-e 将查询语句的结果导入，使用时必须伴随参数–target-dir,--hive-table，如果查询语句中有where条件，则条件后必须加上$CONDITIONS关键字

3.1import导入文本文件
sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop_db"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--target-dir /sqoop_data/goods \
--delete-target-dir \
--fields-terminated-by "\t" \
--num-mappers 4 \
--split-by id \
--query 'select * from goods_table where id < 10 and $CONDITIONS'

# 注意：
# --split-by: 一般都是数值型
# -Dorg.apache.sqoop.splitter.allow_text_splitter=true: --split-by 指定字符串也可以
3.2导入其他类型文件
# 导入不同格式，支持格式as-avrodatafile、as-parquetfile、as-sequencefile、as-textfile(默认格式)
# 多次导入时会报jar包已存在错误，请忽略，因为sqoop读取数据源数据的schema文件创建的jar包在前几次任务已经创建了

sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop_db"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--as-parquetfile \
--target-dir /sqoop_data/goods_2_parquet \
--delete-target-dir \
--fields-terminated-by "\t" \
--num-mappers 4 \
--split-by id \
--query 'select * from goods_table where id < 10 and $CONDITIONS'

4、将数据全量导入到HIVE

sqoop import \
--connect jdbc:mysql://localhost/sqoop_db"useUnicode=true&characterEncoding=utf-8" \
--username root \
--password 123456 \
--table goods_table \
--num-mappers 4 \
--delete-target-dir \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table sqoop.hive_goods_table

上面过程分为两步

  1. 将数据导入到HDFS，默认的临时目录是 /user/当前操作用户/mysql表名 ，通过查看job的configuration的outputdir属性可知
  2. 将导入到HDFS的数据迁移到Hive表，如果hive表不存在，sqoop会自动创建内部表。

5、将数据增量导入到HIVE

1、append方式

# 按id增量导入
sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop_db"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--table mysql_gxm
--num-mapper 3 \
--target-dir /hive/warehouse/hive.db/hive_gxm \
--fields-terminated-by "\001" \
--incremental append \
--check-column id \
--last-value 1

# 参数解释
# incremental <mode> :append或lastmodified，使用lastmodified方式导入数据要指定增量数据是要--append(追加)还是--merge-key(合并)
# check-column <字段> ：作为增量导入判断的列名
# last-value val ：指定某一个值，用于标记增量导入的位置，这个值的数据不会被导入到表中，指的是mysql中id值

2、lastmodified方式

必须要加--append (追加)或者--merge-key (合并，一般填主键)

  • --append 追加

    sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop_db"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--table good_update_tablde \
--target-dir /hive/warehouse/hive.db/good_update_table \
--fields-terminated-by "\001" \
--incremental lastmodified \
--check-column last_update_time \
--last-value '2020-10-10 13:00:00' \
--append

# 注意：
# --incremental lastmodified ：lastmodified是上次修改的意思
# --last-value 的设置是把包括 2020-10-10 13:00:00 时间以及之后时间的数据做增量导入

  • --merge-key 合并

    sqoop import \
--connect jdbc:mysql://localhost:3306/sqoop_db"?useUnicode=true&characterEncoding=UTF-8" \
--username root \
--password 123456 \
--table mysql_gxm \
--num-mappers 3 \
--target-dir /hive/warehouse/hive.db/hive_gxm \
--fields-terminated-by "\001" \
--incremental lastmodified \
--check-column last_update_time \
--last-value '2020-10-10 13:00:00' \
--merge-key id

# --incremental lastmodified --merge-key ： 修改过的数据和新增的数据，(前提是满足last-value的条件)都会导入进来，并且重复的数据(不需要满足last-value的条件)都会进行合并

6、Sqoop的简单使用案例

6.1、在MySQL中创建库和表

create database mall;
use mall;

6.2、导入数据 ==> MySQL

在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，使用import关键字。

6.2.1、全部导入：--table
sqoop import \
--connect jdbc:mysql://192.168.48.10:3306/mall \
--username root \
--password 123456 \
--table order_info \
--target-dir hdfs://192.168.48.10:9000/sqoop_data/mall/db/order_info \
--delete-target-dir \
--m 1 \
--fields-terminated-by ',';
6.2.2、查询导入：--query
sqoop import \
--connect jdbc:mysql://192.168.48.10:3306/mall \
--username root \
--password 123456 \
--target-dir hdfs://192.168.48.10:9000/sqoop_data/mall/db/order_info/2019-06-10 \
--delete-target-dir \
--m 1 \
--fields-terminated-by ',' \
--query 'select * from order_info where date_format(create_time,"%Y-%m-%d")="2019-06-10" and $CONDITIONS';

注意：sql语句末尾必须加上$CONDITIONS

6.2.3、导入指定列：--columns
sqoop import \
--connect jdbc:mysql://192.168.48.10:3306/mall \
--username root \
--password 123456 \
--target-dir hdfs://192.168.48.10:9000/sqoop_data/mall/db/order_info/columns \
--delete-target-dir \
--m 1 \
--fields-terminated-by ',' \
--columns id,consignee,consignee_tel \
--table order_info;

注意：columns中如果涉及到多列，用逗号分隔，分隔时不要添加空格

6.2.4、筛选查询导入数据：--where
sqoop import \
--connect jdbc:mysql://192.168.48.10:3306/mall \
--username root \
--password 123456 \
--target-dir hdfs://192.168.48.10:9000/sqoop_data/mall/db/order_info/where \
--delete-target-dir \
--m 1 \
--fields-terminated-by ',' \
--table order_info \
--where id=2;

6.3、导入数据 ==> Hive

sqoop import \
--connect jdbc:mysql://192.168.48.10:3306/mall \
--username root \
--password 123456 \
--m 1 \
--table user \
--hive-import \
--hive-database db_order \
--fields-terminated-by ',' \
--hive-overwrite \
--hive-table t_user;
  • 该过程分为两步，第一步将数据导入到HDFS，第二步将导入到HDFS的数据迁移到Hive仓库
  • 第一步默认的临时目录是/user/用户名/表名，按上方来的话，临时目录路径为 /user/root/user

hive也可以直接从HDFS中加载数据

6.4、导出数据

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，使用export关键字。

  • HIVE ==> MySQL

    • 先将表中数据导入到HDFS中

      sqoop import \
--connect jdbc:mysql://192.168.48.10:3306/mall \
--username root \
--password 123456 \
--table user \
--target-dir hdfs://192.168.48.10:9000/sqoop_data/mall/db/user \
--delete-target-dir \
--m 1 \
--fields-terminated-by ',';

    • 再将数据库中的数据删除，由sqoop将hdfs上的数据导出到mysql数据库中

      sqoop export \
--connect jdbc:mysql://192.168.48.10:3306/mall \
--username root \
--password 123456 \
--export-dir hdfs://192.168.48.10:9000/sqoop_data/mall/db/user \
--table user \
-m 1 \
--input-fields-terminated-by ',';

      注意：MySQL中如果表不存在，不会自动创建，会报错；数据默认是追加，不是覆盖。

7、脚本编写

将mysql中的数据迁到hdfs中。

#!/bin/bash

App=mall

if [ -n $2 ]
then
date=$2
else
date=`date -d '-l day' +%F`
fi

# 导入数据函数
import_data(){
sqoop import \
--connect jdbc:mysql://192.168.48.10:3306/$App \
--username root \
--password 123456 \
--target-dir hdfs://192.168.48.10:9000/sqoop_data/mall/db/$1/$date \
--delete-target-dir \
--m 1 \
--fields-terminated-by ',' \
--query "$2 and \$CONDITIONS" \
--null-string '\\N' \
--null-non-string '\\N'
}

# 按表调用导入数据函数
# order_info表
order_info_data(){
import_data order_info "select * from order_info where date_format(create_time,'%Y-%m-%d')='$date'"
}

# payment_info表
payment_info_data(){
import_data payment_info "select * from payment_info where date_format(payment_time,'%Y-%m-%d')='$date'"
}

# 根据输入调用函数
case $1 in
"order_info")
order_info_data
;;
"payment_info")
payment_info_data
;;
"all")
order_info_data
payment_info_data
esac

# 执行脚本
mysql_to_hdfs.sh all 2019-06-09
鲸落万物
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sqoop的安装和使用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 3672
本实验通过练习sqoop的安装和配置，为学习sqoop准备，并且通过练习将mysql中表的数据导入到HDFS上来对sqoop的使用有一个初步的了解。完成sqoop的安装和配置并且练习将mysql数据库里的数据导入到HDFS中。本次环境是：Ubuntu16.04+ jdk1.8.0_73 + hadoop2.7.3 + sqoop-1.4.6 +mysql-5.7.22解压sqoop安装包然后进行配置后，在sqoop的bin目录下输入命令【】检查是否配置成功。然后在mysql中创建表并添加数据最后导入到HDF
Sqoop使用实例讲解
Evankaka的专栏
02-21 3013
摘要：本文主要讲了笔者在使用sqoop过程中的一些实例
sqoop操作与使用
weixin_30781775的博客
03-22 109
sqoop只要安装到集群中的一台节点就可以了 1.上传sqoop到节点中 2.安装和配置 在添加sqoop到环境变量到/etc/profile中 将数据库连接驱动拷贝到$SQOOP_HOME/lib里 3.使用 第一类：数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://192.168.1.10:3306/d...
sqoop使用教程
最新发布
v15220的博客
06-17 758
三、sqoop作业 　 1.修改配置文件 　 2.开启sqoop源数据服务 　 3.创建job 　 4.查看job 　 5.显示job详情 　 6.执行job 　 7.删除job ERROR org.apache.sqoop.tool.JobTool - I/O error performing job operation: java.io.IOException: Cannot restore missing job
如何使用Sqoop2
zkf541076398的博客
04-14 1680
1.文档编写目的通sqoop1一样，sqoop2同样也是在Hadoop和关系型数据库之间互传数据的工具，只不过sqoop2引入sqoop server，集中化管理connector，而sqoop1只是客户端工具。下图是sqoop1的架构；版本：目前sqoop1社区版最新为1.4.7架构：使用sqoop客户端直接提交访问方式：通过sqoop1命令在后台终端直接访问安全性：命令或者脚本中直接指定数据库...
Sqoop安装及指令
weixin_43519014的博客
12-20 138
Sqoop 简介 Sqoop是Apache提供用于HDFS和关系型数据库之间数据的导入和导出的工具，可以从HDFS导出数据到关系型数制库中，也可以从关系型数据库导入数据到HDFS。 安装步骤 1.准备sqoop安装包，官网地址：http://sqoop.apache.org 2.配置jdk环境变量和Hadoop的环境变量。因为sqoop在使用是会去找环境变量对应的路径，从而完整工作。（在此就...
sqoop 使用手册
04-03
通过这份Sqoop手册，你可以深入理解 Sqoop 的使用方法，掌握如何配置和调优 Sqoop 任务，以及如何解决常见问题。对于需要在 Hadoop 和 RDBMS 之间进行数据交换的场景，Sqoop 是一个非常实用的工具。
sqoop使用.txt
11-06
sqoop数据导出工具
sqoop使用指南
03-11
sqoop Hadoop 和关系数据库服务器之间传送数据工具，核心功能：导入、迁入。导出、迁出
Sqoop使用手册(高清书签)
02-19
sqoop使用详细手则，基于官网文档改写，适合刚入门新手查看
sqoop使用的demo
06-25
大数据sqoop从RDBMS中向Hadoop的hdfs中进行数据的转移工具。
Sqoop的安装及基本使用
while false
07-13 4147
Sqoop的安装:      Sqoop的安装非常简单，首先Sqoop的底层是mapreduce，所以必须依赖于hadoop 将Sqoop的压缩包上传解压后，然后修改配置文件即可 先将conf目录下的 sqoop-env-template.sh修改为 sqoop-env.sh，然后再如上图所示修改， 最后将mysql的驱动包拷贝到sqoop的lib目录下 Sqoop的基本使用: s...
Sqoop 入门基础
bjjgff的博客
02-18 1394
Sqoop（SQL to Hadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。它提供了一种快速高效的方式，将数据从关系型数据库导入到Hadoop集群进行分析，并支持将Hadoop集群中的数据导出到关系型数据库中。本篇教程将详细介绍Sqoop的全部用法，包括基本概念、使用方法和实例代码。我们将创建一个示例数据表，并使用Sqoop来导入和导出数据。
Sqoop 安装与使用：高效的数据迁移工具
u013558123的博客
03-31 435
通过本文的介绍，您应该已经了解了 Sqoop 的安装步骤和基本使用方法。在实际应用中，熟练掌握这些知识点，可以帮助您更高效地使用 Sqoop，实现数据迁移任务。
Sqoop常见报错及解决方式
清平乐的技术专栏
07-07 6023
1.java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver 原因：[SQOOP_HOME]/lib/下缺少mysql驱动包 2.Caused by: java.lang.RuntimeException: Can’t parse input data: '800 1 620025 塑料油箱 '；java.io.IOException: Can’t export data, please check
Sqoop的简单使用
treesorshining的博客
12-24 2312
1.简介 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。Sqoop 项目开始于 2009 年，最早是作为 Hadoop 的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop 独立成为一个 Ap
Sqoop1使用手册
数据科学汇集
05-17 7010
Sqoop安装、使用手册 1 Sqoop简介 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 2 准备 2.1 环境说明 1 Sqoo
Sqoop各种执行命令总结（详细！可直接用！）
Forever_ck的博客
12-21 3389
闲话少叙，直接上命令： 一、将Mysql表数据导入hdfs（可加过滤条件） ./sqoop import --connect jdbc:mysql://**Mysql安装的主机IP（或映射）**:3306/数据库名 --username 用户名 --password 密码 --table 表名 --target-dir 存储在hdfs上的表名 --delete-target-dir --m 1 ...
Sqoop常用操作命令
曹利荣的博客
01-19 4436
sqoop的所有操作脚本在$SQOOP_HOME/bin 目录下 sqoop脚本 1、 [hadoop@hadoop001 bin]$ sqoop Warning: /home/hadoop/apps/sqoop-1.4.6-cdh5.7.0/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME ...
银行数据开发项目数据采集sqoop使用
05-19
在银行数据开发项目中，数据采集常常使用Apache Sqoop工具。Sqoop是一个用于在Hadoop和关系型数据库之间进行数据传输的开源工具。以下是使用Sqoop进行银行数据采集的步骤： 1. 安装Sqoop：需要在Hadoop集群上安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值