使用Sqoop将MySQL数据导入Hive

最新推荐文章于 2024-06-23 17:38:41 发布
最新推荐文章于 2024-06-23 17:38:41 发布
阅读量887 收藏 4
点赞数 1
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39680564/article/details/100098025
版权

文章目录


https://zhuanlan.zhihu.com/p/39113492

一、说明

MySQL数据导入Hive方法与导入HDFS类似：https://blog.csdn.net/qq_39680564/article/details/100081659，Sqoop只是将数据导入HDFS后再转成Hive表

二、Hive参数

Hive除了自己的参数，同样也支持import的参数，见导入HDFS文章

--hive-home <dir>			Hive 的安装目录，可以通过该参数覆盖掉默认的 hive 目录
--hive-import				将表导入Hive
--hive-overwrite			覆盖Hive表中的现有数据
--create-hive-table			默认是 false,如果目标表已经存在了，那么创建任务会失败
--hive-table <table-name>	设置导入hive后的表名
--hive-drop-import-delims	导入到Hive时从字符串字段中 删除\ n，\ r和\ 01
--hive-delims-replacement	导入到Hive时，使用用户定义的字符串 替换字符串字段中的\ n，\ r和\ 01
--map-column-hive <arg>		生成 hive 表时，可以更改生成字段的数据类型

参考模版

sudo -u hdfs \
sqoop import \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--table person \
--columns "id,fname,lname" \
--hive-import \
--hive-overwrite  \
--hive-partition-key dt  \
--hive-partition-value %(yesterday)s  \
--hive-table f_fuwu.%(hive_table)s  \
--hive-drop-import-delims  \
--fields-terminated-by '%(fields_terminated)s'  \
--lines-terminated-by '\n'  \
--null-string '\\\\N'  \
--null-non-string '\\\\N'  \
-m 1

2.1 单表导入

2.1.1 默认参数

命令

sudo -u hdfs \
sqoop import \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--table person \
--hive-import

HDFS目录
默认在hive的家目录/user/hive/warehouse，有一个以源表名命名的目录，同样没有设置-m参数，生成了4个文件

[root@master ~]# sudo -u hdfs hadoop fs -ls /user/hive/warehouse/person
Found 4 items
-rwxrwxrwx   3 hdfs hive   62664632 2019-08-27 15:38 /user/hive/warehouse/person/part-m-00000
-rwxrwxrwx   3 hdfs hive   63776345 2019-08-27 15:38 /user/hive/warehouse/person/part-m-00001
-rwxrwxrwx   3 hdfs hive   63778151 2019-08-27 15:38 /user/hive/warehouse/person/part-m-00002
-rwxrwxrwx   3 hdfs hive   63776312 2019-08-27 15:39 /user/hive/warehouse/person/part-m-00003

HDFS文件内容

[root@master ~]# sudo -u hdfs hadoop fs -cat /user/hive/warehouse/person/part-m-00000 | head -n 20
1甲子鼠180
2乙丑牛null1
3丙寅虎640
4丁卯兔490
5戊辰龙null0
6己巳蛇660
7庚午马491
8辛未羊141
9壬申猴450
10癸酉鸡881
11戌狗240
12亥猪780
13311
14llkkbllkkbd300
15llkkllkk540
16llkkbllkkbd131
17llkkllkk71
18llkkllkk120
19llkkcllkkc841
20llkkfllkkf471
cat: Unable to write to output stream.

Hive表内容
生成了相同名称的表

hive> show tables;
OK
person
Time taken: 0.028 seconds, Fetched: 1 row(s)
hive> select * from person where id <13;
OK
1	甲	子鼠		18		0
2	乙	丑牛		NULL	1
3	丙	寅虎		64		0
4	丁	卯兔		49		0
5	戊	辰龙		NULL	0
6	己	巳蛇		66		0
7	庚	午马		49		1
8	辛	未羊		14		1
9	壬	申猴		45		0
10	癸	酉鸡		88		1
11		戌狗		24		0
12		亥猪		78		0
Time taken: 16.497 seconds, Fetched: 12 row(s)

2.1.2 根据数据筛选条件导入

导入id小于11的数据
命令

sudo -u hdfs \
sqoop import \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--table person \
--hive-import \
--hive-overwrite \
-m 1 \
--where "id<11"

HDFS目录

[root@master ~]# sudo -u hdfs hadoop fs -ls /user/hive/warehouse/person
Found 2 items
-rwxrwxrwx   3 hdfs hive          0 2019-08-27 16:34 /user/hive/warehouse/person/_SUCCESS
-rwxrwxrwx   3 hdfs hive        185 2019-08-27 16:34 /user/hive/warehouse/person/part-m-00000

HDFS文件内容

[root@master ~]# sudo -u hdfs hadoop fs -cat /user/hive/warehouse/person/part-m-00000 | head -n 20
1甲子鼠180
2乙丑牛null1
3丙寅虎640
4丁卯兔490
5戊辰龙null0
6己巳蛇660
7庚午马491
8辛未羊141
9壬申猴450
10癸酉鸡881

Hive表内容

hive> select * from person;
OK
1	甲	子鼠		18		0
2	乙	丑牛		NULL	1
3	丙	寅虎		64		0
4	丁	卯兔		49		0
5	戊	辰龙		NULL	0
6	己	巳蛇		66		0
7	庚	午马		49		1
8	辛	未羊		14		1
9	壬	申猴		45		0
10	癸	酉鸡		88		1
Time taken: 0.357 seconds, Fetched: 10 row(s)

2.1.3 设置导入后的表名

设置表名为person_hive： --hive-table person_hive
命令

sudo -u hdfs \
sqoop import \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--table person \
--hive-import \
--hive-overwrite \
-m 1 \
--where "id<11" \
--hive-table person_hive

HDFS目录

[root@master ~]# sudo -u hdfs hadoop fs -ls /user/hive/warehouse/
Found 2 items
drwxrwxrwx   - hdfs hive          0 2019-08-27 17:18 /user/hive/warehouse/person
drwxrwxrwx   - hdfs hive          0 2019-08-27 17:04 /user/hive/warehouse/person_hive

HDFS文件内容

[root@master ~]# sudo -u hdfs hadoop fs -cat /user/hive/warehouse/person/part-m-00000 | head -n 20
1甲子鼠180
2乙丑牛null1
3丙寅虎640
4丁卯兔490
5戊辰龙null0
6己巳蛇660
7庚午马491
8辛未羊141
9壬申猴450
10癸酉鸡881

Hive表内容

hive> show tables;
OK
person
person_hive
Time taken: 0.131 seconds, Fetched: 2 row(s)
hive> select * from person_hive;
OK
1	甲	子鼠		18		0
2	乙	丑牛		NULL	1
3	丙	寅虎		64		0
4	丁	卯兔		49		0
5	戊	辰龙		NULL	0
6	己	巳蛇		66		0
7	庚	午马		49		1
8	辛	未羊		14		1
9	壬	申猴		45		0
10	癸	酉鸡		88		1
Time taken: 0.066 seconds, Fetched: 10 row(s)

2.1.4 更改表的某个字段类型

更改sex字段的类型为STRING

sudo -u hdfs \
sqoop import \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--table person \
--map-column-hive sex=STRING \
--hive-import

2.1.5 导入指定库

使用--hive-database参数

sudo -u hdfs \
sqoop import \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--table person \
--hive-import \
--hive-database liuli \
-m 1

2.1.6 增量导入

--check-column：指定增量导入的依赖字段，通常为自增的主键id或者时间戳
--incremental：指定导入的模式（append或lastmodified）
--last-value：指定导入的上次最大值也就是这次开始的值
2.1.6.1 Append模式

指定一个自增字段，根据指定的自增字段值增量导入(经测试，指定超前的ID不会覆盖)

sudo -u hdfs \
sqoop import \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--table cars \
--hive-import \
--hive-database liuli \
--incremental append \
--check-column id \
--last-value 5 \
-m 1
2.1.6.2 lastModify方式（经测试，导入hive不支持时间戳，导入HDFS时可以）

指定一个时间戳字段，根据指定的时间戳增量导入

sudo -u hdfs \
sqoop import \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--table cars \
--hive-import \
--hive-database liuli \
--incremental lastmodified  \
--check-column dtime \
--last-value "2014-11-09 21:00:00" \
-m 1

2.1.7 根据指定字段导入

指定导入id,dname

sudo -u hdfs \
sqoop import \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--table cars \
--hive-import \
--hive-database liuli \
--hive-overwrite \
--columns id,dname \
-m 1

2.1.8 根据SQL查询结果导入

  1. 使用了自定义sql就不能指定--table
  2. 自定义sql语句的where条件中必须包含字符串$CONDITIONS，$CONDITIONS是一个变量，用于给多个map任务划分任务范围
  3. 使用自定义sql时，如果通过参数-m指定多个map任务，由于自定义sql中可能存在多表查询，因此必须使用参数“--split-by 表名.字段名”指定多个map任务分割数据的根据字段，如--split-by users.id
  4. 提示必须要加--target-dir 参数，但是加上之后有没有导入指定的目录，暂时未解
sudo -u hdfs \
sqoop import \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--hive-import \
--hive-database liuli \
--hive-table cars \
--query 'SELECT id,dname,cname FROM cars where id < 8 AND $CONDITIONS' \
--target-dir /usr/1 \
-m 1
2.1.8.1 两表链接导入
  1. 会将查询出的数据导入一张表
  2. 注意给字段取别名，不然会报错字段重复
sudo -u hdfs \
sqoop import \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--hive-import \
--hive-database liuli \
--hive-table cars \
--query 'SELECT a.id AS aid,a.dname AS adname,a.cname AS acname,b.id AS bid,b.dname AS bdname,b.cname AS bcname FROM cars a LEFT JOIN cars2 b ON a.id = b.id  AND $CONDITIONS' \
--target-dir /usr/1 \
-m 1

2.2 全表导入

满足三个条件：
1、每个表必须都只有一个列作为主键；
2、必须将每个表中所有的数据导入，而不是部分；
3、你必须使用默认分隔列，且WHERE子句无任何强加的条件

不能使用的参数

--table
--split-by
--columns
--where

--exclude-tables：可以用来排除导入某个表

命令

sudo -u hdfs \
sqoop import-all-tables \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--hive-import \
--hive-overwrite \
-m 1

HDFS目录

[root@master ~]# sudo -u hdfs hadoop fs -ls /user/hive/warehouse/
Found 3 items
drwxrwxrwx   - hdfs hive          0 2019-08-27 17:17 /user/hive/warehouse/cars
drwxrwxrwx   - hdfs hive          0 2019-08-27 17:18 /user/hive/warehouse/person
drwxrwxrwx   - hdfs hive          0 2019-08-27 17:04 /user/hive/warehouse/person_hive

Hive表内容

hive> show tables;
OK
cars
person
person_hive
Time taken: 0.955 seconds, Fetched: 3 row(s)

2.2.1 全表导入，并排除某张表

命令
如需排除多表，用英文逗号隔开

sudo -u hdfs \
sqoop import-all-tables \
--connect jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false \
--username root \
--password xxxxxxxx \
--hive-import \
--hive-overwrite \
--exclude-tables person \
-m 1

2.3 sqoop脚本

使用--options-file参数可以执行已经编写好的脚本

脚本示例

import
--connect
jdbc:mysql://192.168.0.20:23306/test_mysql?tinyInt1isBit=false
--username
root
--password
xxxxxxxx
--table
person
--hive-import
--hive-overwrite
-m
1
--hive-table
person_hive

命令示例

一定确定文件权限HDFS用户可用

sudo -u hdfs sqoop --options-file /hive/hive.txt
刘李404not found
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6123
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
mysql数据导入 hive_使用 sqoop 将mysql数据导入到hive（import）
weixin_36074668的博客
01-18 140
EFdeMacBook-Pro:bin FengZhen$ sqoop import --connect jdbc:mysql://localhost:3306/sqooptest --username root --password 123qwe --table sqoop_test --columns id,name,age --fields-terminated-by , --delete-...
sqoop导入mysql数据到Hive的各种方案
海边无限的专栏
12-13 5081
sqoop 导入到处 mysql-hive 的案例
sqoop导入mysql数据到hive
jquery_learn的博客
05-15 1410
sqoop导入mysql到hive
sqoop批量将mysql数据库中的表导入hive中 遇到的问题（已解决）
最新发布
weixin_56130021的博客
06-23 157
cdh版sqoop对“0000-00-00”类型的时间数据明显采取的是默认exception策略，而Apache sqoop官网明确表明将会把0000-00-00的date值默认转成null。原因是数据中的含有日期列，在查询中数据库中有错误时间格式的数据，数据值为 0000-00-00 00:00:00。该脚本是循环读取bm.txt文本中的MySQL数据库中对应的表名，在hive中创建对应的ods_对应表名的文件。注意参数大小写和加入该参数后可能会识别不到，需要给url使用双引号包裹！
使用sqoop将mysql数据导入到hive中
qq_61594973的博客
02-04 1694
这个命令是，将mysql中kk数据库中的表student导入到hive的db_msg数据库的student表（该表可不存在，会自动创建）正常情况下，可以显示所有数据库。
使用sqoop从mysql导入数据到hive
weixin_30302609的博客
05-18 244
前言 这篇文章主要是用sqoop从mysql导入数据到hive时遇到的坑的总结。 环境： 系统：Centos 6.5 Hadoop：Apache，2.7.3 Mysql：5.1.73 JDK：1.8 Sqoop：1.4.7 Hadoop以伪分布式模式运行。 一、使用的导入命令 我主要是参考一篇文章去测试的，Sqoop: Import Data From MySQL...
用sqoop将mysql的数据导入到hive表中的两种方式（亲测）
IT晓白
02-13 4453
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下 bin/sqoop import \ --connect jdbc:mysql:/...
sqoop从mysql导入hive
rover
05-21 296
# 导入全量 sqoop import --connect jdbc:mysql://addr.yun.com:3306/idc_dev_temp?charset=utf-8 --username idc_online --password Pwd_2019 --table gout_zhiyun_mon_t2 -m 1 --hive-import --create-hive-table --hi...
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
使用sqoop抽取mysql数据
10-26
Sqoop 是一个用于在 Hadoop 和关系型数据库之间进行数据导入导出的工具，它使得在大数据处理场景下，能够方便地将结构化的数据从 MySQL 这样的 RDBMS（关系型数据库管理系统）转移到 Hadoop 的 HDFS（Hadoop 分布式...
sqoop把mysql数据导入hbase2.1.6
03-13
首先，Sqoop不仅支持将数据从关系型数据库如MySQL导入到HDFS或Hive，还能直接导入到HBase。关键在于正确使用参数： 1. `--hbase-table`：此参数用于指定导入的数据应存储在哪个HBase表中。不指定的话，数据将被导入...
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
在本主题中，我们将深入探讨 Sqoop 的导入功能，特别是如何将数据从 MySQL 和 Sybase 数据库导入到 HDFS，并进一步加载到 Hive 表中。 ### 一、Sqoop 导入介绍 1. **语法结构**： Sqoop 导入数据的基本语法如下：...
yinian_hive_increase_sqoop:sqoop从mysql同步数据到hive
04-29
【标题】"yinian_hive_increase_sqoop:sqoop从mysql同步数据到hive" 描述了一种使用Apache Sqoop工具将数据从MySQL数据库高效地导入到Hadoop的Hive数据仓库的过程。这个过程在大数据处理中至关重要，因为它允许用户...
【Sqoop】MySQL表导入Hive
LS154952447的博客
04-16 1380
用 Sqoop 将 MySQL 指定数据库指定的表导入Hive 的指定数据库。
利用Sqoop将MySQL数据导入Hive中
07-25 256
初次写文章，之前都是学习别人写的东西，从今天开始学会记录、学会分享。 这段时间开始了Hadoop的学习，今天主要学习利用Sqoop从MySQL数据源向Hive中导入数据。 1.执行导入的操作命令：在Sqoop的安装目录下输入命令bin/sqoop import--connect jdbc:mysql://数据库主机ip:3306/数据库名 --username root --P ...
sqoop：把数据从mysql导入到hive中
weixin_49180684的博客
07-01 3610
用sqoop把数据从mysql导入进hive中 首先你得在mysql中有个表，自己找一个有数据的表格 sqoop代码 sqoop impot \ --connect jdbc:mysql://wangtengfei:3306/test \ --username root \ --password 12345678 \ --table studentinfo \ -m 1 \ --hive-import \ --hive-table test.user_infor \ --create-hive-table
Sqoop MySQL 导入到Hive
LieBrother
04-21 1540
将数据库phx中的tree表的数据导入到Hive中命令：sqoop import --connect jdbc:mysql://node1:3306/phx \--username root \--table tree \--hive-import \--hive-overwrite \--create-hive-table \--hive-table tree1 \--target-dir /sq
使用sqoop将mysql数据导入hive
qq_51903852的博客
11-23 1284
-----------------------mysql to hive(一、先建表，再导入数据)------------------------------ 在hive中创建表kb15.student_mysql，数据结构与mysql中student相同 [root@mihaoyu151 ~]# sqoop create-hive-table \ > --connect jdbc:mysql://mihaoyu151:3306/mybatisdb \ > --username root \ &
使用Sqoop将MySQL数据导入hive
05-13
可以使用Sqoop将MySQL数据导入Hive，具体步骤如下： 1. 安装Sqoop并配置好环境变量。 2. 在Hive中创建好要导入数据的表。 3. 在MySQL中创建好要导入的数据表。 4. 在命令行中执行以下命令，将MySQL数据导入到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值