Sqoop 使用手册（即用即查）

于 2020-09-15 11:33:51 发布
阅读量483 收藏 6
点赞数
分类专栏： 大数据框架核心原理 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41858402/article/details/108596530
版权

一、简介

1.1 概述

Sqoop是一款数据传输工具，主要用于大数据集群与传统数据库之间的数据传输，如将MySQL中的数据导入到HDFS、Hive、HBase等，也可以将HDFS等数据导出到MySQL中。

Sqoop分为两个版本分别是sqoop1和sqoop2，且两个版本不兼容，官网中指出sqoop2不作为生产环境部署

Latest stable release is 1.4.7 (download, documentation)
Latest cut of Sqoop2 is 1.99.7 (download, documentation)
Note that 1.99.7 is not compatible with 1.4.7 and not feature complete
it is not intended for production deployment.

1.2 名词解释

Sqoop的导入导出是站在大数据集群的角度来说的，因此

导入：从传统数据库到大数据集群

导出：从大数据集群到传统数据库

1.3 原理

将导入导出命令翻译成MapReduce程序并自动化完成这个过程的大部分，还提供了并行操作和容错，定制化InputFormat和OutputFormat

二、安装

2.1 前期准备

我的组件版本

  1. jdk 1.8
  2. hadoop 3.2.1
  3. mysql 8.0.20
  4. sqoop 1.4.6

注：亲测sqoop 1.4.7用不了

2.2 配置

  1. 解压
tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
  1. 修改配置文件
cp sqoop-env-template.sh sqoop-env.sh

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/usr/local/soft/hadoop-3.2.1

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/soft/hadoop-3.2.1

#set the path to where bin/hbase is available
export HBASE_HOME=/usr/local/soft/hbase-2.2.5

#Set the path to where bin/hive is available
export HIVE_HOME=/usr/local/soft/hive-3.1.2

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/usr/local/soft/zookeeper-3.4.10
  1. 拷贝jdbc驱动

以mysql为例，将mysql连接驱动jar包拷贝到sqoop/lib下

  1. 测试sqoop
sqoop help
Warning: /usr/local/soft/sqoop-1.4.6/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /usr/local/soft/sqoop-1.4.6/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
2020-09-15 09:38:01,142 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
usage: sqoop COMMAND [ARGS]

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table  Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables  Import tables from a database to HDFS
  import-mainframe   Import datasets from a mainframe server to HDFS
  job                Work with saved jobs
  list-databases     List available databases on a server
  list-tables        List available tables in a database
  merge              Merge results of incremental imports
  metastore          Run a standalone Sqoop metastore
  version            Display version information

See 'sqoop help COMMAND' for information on a specific command.
  1. 测试连接mysql
sqoop list-databases \
> --connect jdbc:mysql://master:3306 \
> --username root \
> --password 980729
Warning: /usr/local/soft/sqoop-1.4.6/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /usr/local/soft/sqoop-1.4.6/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
2020-09-15 09:41:13,200 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
2020-09-15 09:41:13,272 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
2020-09-15 09:41:13,386 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
Loading class `com.mysql.jdbc.Driver'. This is deprecated. The new driver class is `com.mysql.cj.jdbc.Driver'. The driver is automatically registered via the SPI and manual loading of the driver class is generally unnecessary.
mysql
information_schema
performance_schema
sys
metastore
company
参数说明
–connect连接关系型数据库的URL
–username用户名
–password密码，考虑安全可使用 -P
–driver指定jdbc驱动类

三、使用

以mysql到大数据集群为例，数据可自行准备

3.1 导入数据

3.1.1 导入到HDFS

1.导入全表
sqoop import \
--connect jdbc:mysql://master:3306/company \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 980729 \
--table staff \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"
参数说明
–table导入数据的表
–target-dir导入到HDFS的路径
–delete-target-dir路径存在则删除（不推荐使用）
–num-mappers设置map数，根据数据大小设置
–fields-terminated-by指定分隔符，否则数据会连在一起

在这里插入图片描述

从打印的日志和运行结果可以看出其本质走的是MapReduce且只有map（不涉及数据的聚合操作）

2.导入查询
sqoop import \
--connect jdbc:mysql://master:3306/company \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 980729 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <=1 and $CONDITIONS;'

将--query后面的sql执行结果导入到HDFS中

注意：

  1. 如果您想并行导入查询的结果，那么每个映射任务都需要执行一个查询副本，结果由Sqoop推断出边界条件进行分区。您的查询必须包含令牌$CONDITIONS，每个Sqoop进程将用一个唯一的条件表达式替换该令牌
  2. 如果sql使用""必须使用\$CONDITIONS，如"SELECT * FROM x WHERE a='foo' AND \$CONDITIONS"
3.导入指定列
sqoop import \
--connect jdbc:mysql://master:3306/company \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 980729 \
--table staff \
--columns id,sex \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

--columns 指定需要导入的列字段

4.导入指定字段
sqoop import \
--connect jdbc:mysql://master:3306/company \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 980729 \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--table staff \
--where "id=1"

--where指定需要导入的字段，3，4其实就是2的分解了解即可

3.1.2导入到Hive

sqoop import \
--connect jdbc:mysql://master:3306/company \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 980729 \
--table staff \
--num-mappers 1 \
--hive-import \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table staff_hive
参数说明
–hive-import标记导入到hive
–hive-overwirte覆盖导入，默认不覆盖
–hive-table指定导入的hive表
  1. 从日志分析为两次MapReduce，首先将其导入至HDFS，在将数据迁移到Hive表中
  2. 导入到HDFS默认路径时/user/${username}/表名
  3. 默认导入到数据库default中
  4. 表不存在会自动创建
  5. --hive-table 数据库.表名指定数据库导入

3.1.2导入到HBase

sqoop import \
--connect jdbc:mysql://master:3306/company \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 980729 \
--table staff \
--columns id,name,sex \
--column-family "info" \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_company" \
--num-mappers 1 \
参数说明
–hbase-table指定导入的HBase表名
–column-family指定表的列族名
–hbase-row-key指定表的rowKey
–hbase-create-tableHBase表不存在自动创建
  1. sqoop 1.4.6不兼容HBase 2.x，亲测HBase 1.6.0可用
  2. --hbase-create-table仅对HBase 1.0.1以下版本有效

3.2 导出数据

3.2.1 HDFS/Hive 导出数据

HDFS/Hive 导出数据的本质是一样的，都是从HDFS -> mysql

sqoop export \
--connect jdbc:mysql://master:3306/company \
--driver com.mysql.cj.jdbc.Driver \
--username root \
--password 980729 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"
参数说明
–export-dir导出文件路径
–input-fields-terminated-by指定字段分隔符
  1. 注意导出数据与mysql表数据是否存在主键唯一问题，否则job卡死
  2. 一定要指定--input-fields-terminated-by否则必报错

3.2.2 HBase 导出数据

HBase数据不能直接导出，因此需要先将HBase数据导入到Hive表，再从Hive表导出

3.2.3 执行脚本

实际生产更多的是使用脚本，通过定时任务如contab、Azkaban等执行导入导出作业

1.编写脚本
vim mysql_to_hdfs.opt

import 
--connect 
jdbc:mysql://master:3306/company 
--driver 
com.mysql.cj.jdbc.Driver 
--username 
root 
--password 
980729 
--table 
staff 
--target-dir 
/user/company 
--delete-target-dir 
--num-mappers 
1 
--fields-terminated-by 
"\t"

参数和参数值之间必须换行，必须换行，必须换行

2.运行脚本
sqoop --options-file mysql_to_hdfs.opt

四、手册

4.1 常用命令

序号命令类说明
1importImportTool将数据导入到集群
2exportExportTool将集群数据导出
3codegenCodeGenTool获取数据库中某张表数据生成Java并打包Jar
4create-hive-tableCreateHiveTableTool创建Hive表
5evalEvalSqlTool查看SQL执行结果
6import-all-tablesImportAllTablesTool导入某个数据库下所有表到HDFS中
7jobJobTool用来生成一个sqoop的任务，生成后，该任务并不执行，除非使用命令执行该任务。
8list-databasesListDatabasesTool列出所有数据库名
9list-tablesListTablesTool列出某个数据库下所有表
10mergeMergeTool将HDFS中不同目录下面的数据合在一起，并存放在指定的目录中
11metastoreMetastoreTool记录sqoop job的元数据信息，如果不启动metastore实例，则默认的元数据存储目录为：~/.sqoop，如果要更改存储目录，可以在配置文件sqoop-site.xml中进行更改。
12helpHelpTool打印sqoop帮助信息
13versionVersionTool打印sqoop版本信息

4.2 导入import

序号参数说明
1–enclosed-by <char>给字段值前加上指定的字符
2–escaped-by <char>对字段中的双引号加转义符
3–fields-terminated-by <char>设定每个字段是以什么符号作为结束，默认为逗号
4–lines-terminated-by <char>设定每行记录之间的分隔符，默认是\n
5–mysql-delimitersMysql默认的分隔符设置，字段之间以逗号分隔，行之间以\n分隔，默认转义符是\，字段值以单引号包裹。
6–optionally-enclosed-by <char>给带有双引号或单引号的字段值前后加上指定字符。

4.3 导出export

序号参数说明
1–input-enclosed-by <char>对字段值前后加上指定字符
2–input-escaped-by <char>对含有转移符的字段做转义处理
3–input-fields-terminated-by <char>字段之间的分隔符
4–input-lines-terminated-by <char>行之间的分隔符
5–input-optionally-enclosed-by <char>给带有双引号或单引号的字段前后加上指定字符
小王是个弟弟
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
hive 把mysql语句执行_Sqoop将Hive表中数据导入MySQL中，进程死住，不执行该怎么办...
weixin_42324688的博客
02-15 209
[hadoopUser@secondmgt ~]$ sqoop-export --connect jdbc:mysql://secondmgt:3306/transport --username hive --password hive --table jtxx --export-dir /hive/warehouse/hive.db/temptrans --input-fields-termin...
Sqoop使用手册
涂作权的博客
10-03 272
1、执行模式： 1.1 Shell脚本： /home/admin/newbigdata/sqoop-1.4.6.bin.hadoop-2.0.4-alpha/bin/sqoop import -m 1 \ --connect jdbc:mysql://192.168.110.244:3306/zjs_test --username root --password soa123456 \ --table czrk \ --hive-import \ --delete-target-dir \ --target
sqoop使用手册
u010316405的专栏
03-16 2015
Sqoop使用手册 转载请注明出处：http://www.cnblogs.com/xiaodf/ 1 Sqoop概述2 版本说明3 驱动安装 3.1 MySQL 4 基本用法 4.1 导入 4.1.1 保护密码4.1.2 使用其他文件格式4.1.3 压缩导入的数据4.1.4 提高传输速度4.1.5 自定义类型映射4.1.6 并行控制4.1.7 对NULL值进行编
sqoop 用户手册
05-31
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。
Sqoop使用手册(高清书签)
02-19
sqoop使用详细手则，基于官网文档改写，适合刚入门新手查看
sqoop1.4.5用户手册.docx
10-12
在 Sqoop 1.4.5 用户手册中，它详细阐述了如何利用 Sqoop 实现数据的导入、导出和其他相关操作。 首先，Sqoop 允许用户将数据从常见的 RDBMS，如 MySQL 或 Oracle，导入到 HDFS。这个过程是通过 MapReduce 实现的，...
sqoop详细开发手册（开发，优化，参数解释等）
08-11
验证 Sqoop 是否安装成功，可以运行 `bin/sqoop help` 命令，如果返回了可用的命令列表，即表明 Sqoop 已经配置正确。Sqoop 提供了多种命令，例如 `codegen` 用于生成与数据库交互的代码，`import` 用于从数据库导入...
sqoop-1.4.5.bin__hadoop-2.6.0.zip
04-21
Sqoop-1.4.5.bin__hadoop-2.6.0.zip 文件是一个包含了 Sqoop 版本 1.4.5 和针对 Hadoop 版本 2.6.0 的预编译二进制包，方便用户在 Hadoop 环境中快速部署和使用 Sqoop。 Sqoop 的主要功能包括： 1. 数据导入：从...
sqoop 使用手册
04-03
sqoop 使用手册 使用方便，需要的同学可以下载啦！！！
大数据【经典文档】：CDH集群运维手册【61页】.rar
05-21
手册会介绍如何使用Sqoop进行数据库与Hadoop之间的数据迁移，以及使用Hue这样的交互式界面进行数据操作。 5. **故障排查与性能优化**：当遇到问题时，手册会提供故障排查的步骤和常见问题的解决方案。此外，如何...
Sqoop中文手册
Stay hungry, Stay foolish
04-11 378
转：http://www.zihou.me/html/2014/01/28/9114.html
Sqoop学习手册
张之海的博客
04-16 294
1 sqoop 导入导出原理 1.1 数据导入 sqoop会通过jdbc来获取需要的数据库的元数据信息，例如：导入的表的列名，数据类型。 这些数据库的数据类型会被映射成为java的数据类型，根据这些信息，sqoop会生成一个与表名相同的类用来完成序列化工作，保存表中的每一行记录。 sqoop开启MapReduce作业 启动的作业在input的过程中，会通过jdbc读取数据表中的内容，这时，会使用...
sqoop使用手册--mysql配置
weixin_34122548的博客
02-21 313
首先在安装了mysql数据库的那台虚拟机上面执行mysql -u root -p进入sql的密码为空create database stock;grant all privileges on . to root@localhost identified by ’transwarp';flush privileges; //刷新系统权限表然后执行：在MySQL中将所有权限赋给给集群中的三台...
Sqoop
myt0929的专栏
06-23 700
  Sqoop这个工具是做数据迁移用的，是关系型数据库和Hive/Hadoop的数据迁移，方便大量数据的导入导出工作。Sqoop底层是通过MapReduce去实现的，但只是只有Map没有Reduce。 一、准备   使用内建函数得有一个表做例子，这样才能了解函数的输出与传入参数。 ...
Hadoop 核心原理（贼全面）
热门推荐
小王是个弟弟
08-24 1万+
hadoop原来可以以这么简单的方式学习核心原理
全面解读：Sqoop中文手册详解与实战应用
文档以Cloudera官方文档为基础，用中文详细解释了Sqoop的各项参数和用途。它旨在帮助读者更好地理解和使用Sqoop，包括连接不同类型的数据库（如MySQL），设置用户名和密码，以及处理数据同步。 2. codegen: - 这...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小王是个弟弟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值