sqoop笔记

已于 2022-12-09 22:00:06 修改
阅读量645 收藏
点赞数
文章标签： sqoop hadoop 大数据
于 2022-12-06 13:24:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_47721411/article/details/128184813
版权

sqoop help
sqoop 不支持动态分区
mysql -uroot -p123456 -e “show databases”;
mysql -uroot -p123456 < /路径/test.sql
test.sql里面包含show databases

1.查看可用的数据库 (mysql)

sqoop list-databases --help
sqoop list-databases [GENERIC-ARGS] [TOOL-ARGS]
–connect
–username
–password 

sqoop list-databases \
--connect jdbc:mysql://bigdata12:3306 \
--username root \
--password 123456

2.查看可用的tables(mysql)

sqoop list-tables --help
sqoop list-tables [GENERIC-ARGS] [TOOL-ARGS]
–connect
–username
–password 

sqoop list-tables \
--connect jdbc:mysql://bigdata12:3306/bigdata \
--username root \
--password 123456

数据导入：mysql import(hdfs)

sqoop import --help
sqoop import [GENERIC-ARGS] [TOOL-ARGS]
–connect
–username
–password
–table 

sqoop import \
--connect jdbc:mysql://bigdata12:3306/hive \
--username root \
--password 123456 \
--table TBLS

hadoop fs -text /user/hadoop/TBLS/* 查看数据

重复导入数据

–delete-target-dir

sqoop import \
--connect jdbc:mysql://bigdata12:3306/hive \
--username root \
--password 123456 \
--delete-target-dir \
--table TBLS

修改 hdfs目标路径

默认hdfs输出路径是/user/hadoop(用户)/TBLS(表名)
–target-dir 

sqoop import \
--connect jdbc:mysql://bigdata12:3306/hive \
--username root \
--password 123456 \
--delete-target-dir \
--fields-terminated-by '\t' \
--target-dir /sqoop/TBLS \
--table TBLS

修改字段之间分割符

hdfs上文件存储默认按照逗号进行分隔
–fields-terminated-by

sqoop import \
--connect jdbc:mysql://bigdata12:3306/hive \
--username root \
--password 123456 \
--delete-target-dir \
--fields-terminated-by '\t' \
--table TBLS

修改加载数据的并行度

sqoop 默认加载数据的并行度是4
sqoop没有reduce过程，只有map过程
-m,–num-mappers 

sqoop import \
--connect jdbc:mysql://bigdata12:3306/hive \
--username root \
--password 123456 \
--delete-target-dir \
--fields-terminated-by '\t' \
--target-dir /sqoop/TBLS \
-m 1 \
--table TBLS

修改sqoop作业的名字

–mapreduce-job-name 

sqoop import \
--connect jdbc:mysql://bigdata12:3306/hive \
--username root \
--password 123456 \
--delete-target-dir \
--fields-terminated-by '\t' \
--target-dir /sqoop/TBLS \
-m 1 \
--mapreduce-job-name 'mysql_TBLS2hdfs' \
--table TBLS

筛选数据范围，选择想要的字段

–where
–columns <col,col,col…>

sqoop import \
--connect jdbc:mysql://bigdata12:3306/hive \
--username root \
--password 123456 \
--delete-target-dir \
--fields-terminated-by '\t' \
--target-dir /sqoop/TBLS \
-m 1 \
--mapreduce-job-name 'mysql_TBLS2hdfs' \
--columns 'TBL_ID,CREATE_TIME,DB_ID,LAST_ACCESS_TIME,OWNER,OWNER_TYPE' \
--where 'TBL_ID >= 40' \
--table TBLS

hadoop fs -ls 和 hadoop fs -ls / 区别【面试】

hadoop fs -ls 默认查看的是/user/hadoop/
hadoop fs -ls /查看的是根目录下的

同步没有主键的表

同步有主键的表时，并行度是多少都可以，按上面进行导入即可
解决没有主键表导入问题：
1.–split-by =》通过这个参数指定mapreduce按照表中哪个字段进行切片

sqoop import \
--connect jdbc:mysql://bigdata12:3306/bigdata \
--username root \
--password 123456 \
--delete-target-dir \
--target-dir /sqoop/emp \
--mapreduce-job-name 'mysql_TBLS2hdfs' \
--split-by 'empno' \
--table emp

2.-m 1 =》并行度设为1，表中所有数据只用一个map task进行操作，不用切片

sqoop import \
--connect jdbc:mysql://bigdata12:3306/bigdata \
--username root \
--password 123456 \
--delete-target-dir \
--target-dir /sqoop/emp \
--mapreduce-job-name 'mysql_TBLS2hdfs' \
-m 1 \
--table emp;

因为sqoop底层走的是mapreduce，mapreduce加载数据有个input阶段，通过inputformat切片来加载数据，如果加载的是数据库，调用的是dbinputformat,切片的数量决定于map task的数量，数据库的切片是按照主键对应的字段进行切分，没有主键时，切片就不知道该怎么划分了，
DataDrivenDBInputFormat(切片): BoundingValsQuery:
SELECT MIN(TBL_ID), MAX(TBL_ID) FROM TBLS WHERE ( TBL_ID>= 40 )表明数据库切片按照主键进行划分
SELECT t.* FROM TBLS AS t LIMIT 1 =》判断mysql里是否有这张表/确认mysql里这张表的存在

处理null值数据(etl)

–null-non-string 不是string类型处理null
–null-string 是string类型处理null

sqoop import \
--connect jdbc:mysql://bigdata12:3306/bigdata \
--username root \
--password 123456 \
--delete-target-dir \
--target-dir /sqoop/emp \
--mapreduce-job-name 'mysql_TBLS2hdfs' \
--split-by 'empno' \
--null-non-string 0 \
--null-string '' \
--table emp

sql方式同步数据

-e,–query 

sqoop import \
--connect jdbc:mysql://bigdata12:3306/bigdata \
--username root \
--password 123456 \
--delete-target-dir \
--target-dir /sqoop/emp_sql \
--mapreduce-job-name 'mysql_TBLS2hdfs' \
--split-by 'empno' \
--null-non-string 0 \
--null-string '' \
--query 'select empno,deptno,ename,sal from emp where $CONDITIONS'

–query --table 不能一起使用
要加上where $CONDITIONS

变成通用性，封装参数

1.shell脚本
2.sqoop --options-file
sqoop --options-file 跟上文件路径

vim emp.opt
import
--connect
jdbc:mysql://bigdata12:3306/bigdata
--username
root
--password
123456
--delete-target-dir
--target-dir
/sqoop/emp_sql
--mapreduce-job-name
'mysql_TBLS2hdfs'
--split-by
'empno'
--query
'select empno,deptno,ename,sal from emp where $CONDITIONS'
sqoop --options-fiel ./emp.opt

3.sqoop job
1.create 创建job
–create
2.list/show 查看job
–list
–show
3.exec 执行job
–exec 

sqoop job --create mysql_emp2hdfs \
--import \
--connect jdbc:mysql://bigdata12:3306/bigdata \
--username root \
--password 123456 \
--delete-target-dir \
--target-dir /sqoop/emp_sql \
--mapreduce-job-name 'mysql_TBLS2hdfs' \
--split-by 'empno' \
--null-non-string 0 \
--null-string '' \
--query 'select empno,deptno,ename,sal from emp where $CONDITIONS'

sqoop job --list
sqoop job --show mysql_emp2hdfs
sqoop job --exec mysql_emp2hdfs

	删除--delete <job-id>

mysql import (hdfs)=>hive里导表

可以在hive 自动建表：不要用

sqoop import \
--connect jdbc:mysql://bigdata12:3306/bigdata  \
--username root  \
--password 123456 \
--mapreduce-job-name 'mysql_TBLS2hdfs' \
--delete-target-dir \
--target-dir /sqoop/emp_sqoop \
-m 1 \
--query 'select empno,deptno,ename,sal from emp where $CONDITIONS ' \
--hive-import \
--hive-overwrite \
--create-hive-table \
--hive-database bigdata_hive \
--hive-table emp_sqoop

把mysql数据同步到hive里普通表

sqoop import \
--connect jdbc:mysql://bigdata12:3306/bigdata  \
--username root  \
--password 123456 \
--mapreduce-job-name 'mysql_TBLS2hdfs' \
--delete-target-dir \
--target-dir /sqoop/emp_tmp \
--fields-terminated-by ',' \
-m 1 \
--query 'select * from emp where $CONDITIONS ' \
--hive-import \
--hive-overwrite \
--hive-database bigdata_hive \
--hive-table emp_tmp

把mysql数据同步到hive里的分区表

sqoop import \
--connect jdbc:mysql://bigdata12:3306/bigdata  \
--username root  \
--password 123456 \
--mapreduce-job-name 'mysql_TBLS2hdfs' \
--delete-target-dir \
--target-dir /sqoop/emp_tmp \
--fields-terminated-by '\t' \
-m 1 \
--query 'select empno,ename,job,mgr,hiredate,sal,comm from emp where deptno=20 and $CONDITIONS ' \
--hive-import \
--hive-overwrite \
--hive-database bigdata_hive \
--hive-table emp_sqoop_p \
--hive-partition-key deptno \
--hive-partition-value 20

通用性shell标本

if [ $# -lt 4 ];then
	echo "$0 use sync mysql 2 hive"
	echo "USAGE:$0 mysqldb sql hivedb hivetable"
	exit 1;
fi
#mysql parm
mysqldb=$1
sql="$2"

#hive parm
hivedb=$3
hivetable=$4

MySQL_URL="jdbc:mysql://bigdata12:3306/bigdata"
MySQL_USER=root
MySQL_PASSWD=123456
FIELDS_TERMINATED=","

sqoop import \
--connect ${MySQL_URL} \
--username ${MySQL_USER} \
--password ${MySQL_PASSWD} \
--mapreduce-job-name 'mysql2hive' \
--delete-target-dir \
--target-dir /sqoop/emp_tmp \
--fields-terminated-by ${FIELDS_TERMINATED} \
-m 1 \
--query "${sql} and \$CONDITIONS" \
--hive-import \
--hive-overwrite \
--hive-database ${hivedb} \
--hive-table ${hivetable}

测试：
./mysql2hive bigdata “select * from emp where deptno=20” bigdata_hive emp_tmp

数据导出 export

不管是hdfs还是hive都是基于hdfs路径导入到mysql里面
前提mysql里面这张表一定要存在

sqoop export \
--connect jdbc:mysql://bigdata12:3306/bigdata  \
--username root  \
--password 123456 \
--table emp_hdfs \
--mapreduce-job-name 'hdfs2mysql' \
--fields-terminated-by ',' \
--export-dir /user/hive/warehouse/bigdata_hive.db/emp/*

开启历史日志

1.mapreduce job 历史日志 ：
1. jobhistory 服务开启
mapreduce.jobhistory.address 0.0.0.0:10020

mapreduce.jobhistory.address bigdata12:10020 mapreduce.jobhistory.webapp.address bigdata12:19888 
	2. 日志收集
yarn.log-aggregation-enable true yarn.log.server.url http://bigdata12:19888/jobhistory/logs yarn.log-aggregation.retain-seconds 259200
  1. jobhistory 服务开启
    mapred historyserver [bigdata32]
    mapred --daemon start historyserver
  2. 日志收集
    yarn timelineserver [bigdata33]
    yarn --daemon start timelineserver

幂等性 ： 多次操作 数据结果是不变的

mysql =》 hive =》 hive-overwrite
hive => mysql 幂等性 如何解决？
删掉表重新导出

qq_47721411
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sqoop 使用手册
04-03
sqoop 使用手册 使用方便，需要的同学可以下载啦！！！
Sqoop并行度控制
chennaihuan0842的博客
08-24 2709
7.2.4 并行度控制 Sqoop并行地从大多数数据库源导入数据。您可以使用-m或--num-mappers参数指定用于执行导入的map任务(并行进程)的数量。每个参数都取一个整数值，该整数值对应于要使用的并行度。默认情况下，使用四个任务。一些数据库可以通过将这个值增加到8或16来改善性能。不...
使用sqoop --options-file 导入hive数据
05-07 2363
[Author]: kwu -- 使用sqoop --options-file 导入hive数据
5.sqoop --options-file
百年一梦
04-29 2111
For example, the following Sqoop invocation for import can be specified alternatively as shown below:$ sqoop import –connect jdbc:mysql://localhost/db –username foo –table TEST$ sqoop –options-file /us
Sqoop_Sqoop 并行度调整 -m 以及 --split-by
迎难而上
06-07 4887
参考https://blog.csdn.net/duyuanhai/article/details/103066861 Sqoop 并行化原理 Sqoop并行化是启多个map task实现的，-m(或--num-mappers)参数指定map task数，默认是四个。 当指定为1时，可以不用设置split-by参数，不指定num-mappers时，默认为4，当不指定或者num-mappers大于1时，需要指定split-by参数。并行度不是设置的越大越好，map task的启...
sqoop官方文档学习笔记
04-25
Sqoop是一个用于在Hadoop和关系数据库或大型机之间传输数据的工具。您可以使用Sqoop将关系数据库管理系统（RDBMS）（如MySQL或Oracle或大型机）中的数据导入Hadoop分布式文件系统（HDFS），转换Hadoop MapReduce中的...
大数据开发中的Sqoop学习笔记(自己整理版).pdf
07-05
笔记中详解介绍了在大数据开发学习过程中Sqoop相关知识点。 包括Sqoop概述；Sqoop安装步骤；Sqoop测试使用；import 相关命令的操作；创建数据表，并导入数据； 展示数据库sqoop中所有表；将MySQL数据导入到hdfs...
大数据学习笔记
11-26
文本详细分析了hadoop的基本构成和原理，hbase的基本原理和常用命令，hive的原理和常用命令等。
安装笔记：hadoop+hbase+sqoop2+phoenix+kerberos
01-12
利用两台云主机（真实环境至少三台）安装hadoop+hbase+sqoop2+phoenix+kerberos的过程笔记，从伪分布式到kerberos认证。
java连接sqoop源码-aws-big-data-cert:AWS大数据专业认证学习笔记
06-15
java连接sqoop源码AWS 大数据专业证书研究 免责声明：本指南是我学习的尾声，因此并不完整，主要集中在琐事/问题上。 取自 . 数据采集 服务说明 200 毫秒延迟（1 个标准消费者），70 毫秒，增强型扇出 HTTP2 推送...
1.16 sqoop options-file参数进行运行任务
weixin_30767835的博客
05-07 230
sqoop的options-file参数可以像hive的-f 参数那样，执行一个脚本文件，而不是直接在命令行执行；其中，此脚本文件要遵循一定的格式；参考链接：http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html1、options-file参数使用##准备一个脚本文件，可以是txt、sql结尾文件 ##vim /opt/datas/sqoop-...
sqoop 详解
2301_76522810的博客
07-08 1533
Sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。导入数据：MySQL、Oracle导入数据到hadoop的hdfs、hive、hbase等数据存储系统。导出数据：从hadoop的文件系统中导出数据到关系型数据库中。
sqoop-job常用命令
扛着锄头的码农
07-08 1223
sqoop-job常用命令 创建job sqoop job \ --create jobname \ -- import \ .... 查询job列表 sqoop job --list 查看job详细信息 sqoop job --show jobname 执行job sqoop job --exec jobname 删除job sqoop job --delete jobname 6.解决sqoop需要输入密码的问题 <property> <name&
sqoop map并行度以及split-by数量详解
welcome to zdsg's csdn
07-10 3911
Sqoop 同步记录 文章目录Sqoop 同步记录1. sqoop -m2. sqoop --split-by3.sqoop --split-by 分割机制3.1 分割int类型3.2 分割date类型3.3 分割varchar类型4. sqoop --split-limit5. map的数量由什么决定6.为什么要设定--split-limit 1. sqoop -m 有一种情况可以不需要指定 sqoop -m 就是你要同步的表有主键,这样的话sqoop默认会按照主键进行split然后分成4个map并行执行
【Sqoop_笔记】
weixin_47922102的博客
12-05 103
官网：sqoop.apache.org应用场景：主要用来把hadoop生态圈和关系型数据库进行数据同步1.部署：[hadoop@bigdata13 software]$ rz 上传 【遇到上传失败乱码问题】用命令 rz - bey 解决 [hadoop@bigdata32 software]$ tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ~/app/ [hadoop@bigdata32 app]$ ln -s sqoop-1.4.7.bin__hado
sqoop并发度如果太小会怎么样
H.C. Lee的博客
09-28 1802
问题：sqoop 导入数据报内存溢出 解决：-m 100改成1024 思考：之前一直以为sqoop -m参数设置的太小只会影响运行时间。 结果昨天-m 100的时候一直崩，mentor设置成1024就解决了。...
大数据ETL工具对比——SeaTunnel、DataX、Sqoop、Flume、Flink CDC、Dlinky、TIS、Chunjun等对比
u011047968的专栏
05-16 758
Apache SeaTunnel作为下一代数据集成平台。同时也是数据集成一站式的解决方案，有下面这么几个特点。丰富且可扩展的Connector：SeaTunnel提供了不依赖于特定执行引擎的Connector API。基于该API开发的Connector（Source、Transform、Sink）可以运行在很多不同的引擎上，例如目前支持的SeaTunnel Engine、Flink、Spark等。
Hadoop 3.4.0+HBase2.5.8+ZooKeeper3.8.4+Hive4.0+Sqoop 分布式高可用集群部署安装 大数据系列二
tonyhi6的博客
05-14 1190
Hadoop3.4.0+HBase2.5.8+ZooKeeper3.8.4+Hive4.0+Sqoop 分布式高可用集群部署安装 大数据系列二
西南交通大学计算机考研难吗？西南交通大学计算机考研考情分析！
最新发布
m0_72717598的博客
05-16 259
西南交通大学信息科学与技术学院成立于1985年（原计算机科学与工程系），学院下设五个系，即计算机科学与技术系，软件工程系，自动化系，通信工程系，电子信息工程系，20多年来，学院已培养出研究生700余名，本科生近5000名，毕业生遍布全国各地，其中不少已成为国内外知名专家、学者。创新精神和能力、专业兴趣和素养等。复试要对考生的既往学业情况、外语听说交流能力、专业素质和科研创新能力，以及综合素质和一贯表现等进行全面考查，主要考核内容包括思想政治素质和道德品质、外语听说能力、专业素质和能力、综合素质及能力。
sqoop export
03-02
Sqoop Export是一个用于将数据从Hadoop生态系统中的关系型数据库导出到Hadoop集群的工具。它可以将数据从关系型数据库（如MySQL、Oracle等）导出到Hadoop的HDFS或Hive中。 Sqoop Export的主要特点和功能包括： 1. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值