Sqoop实现mysql与hive数据表互相导入

最新推荐文章于 2023-05-15 10:07:01 发布
最新推荐文章于 2023-05-15 10:07:01 发布
阅读量701 收藏 1
点赞数
分类专栏： ETL工具 文章标签： hive sqoop mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45952294/article/details/120958425
版权

文章目录

1. 上传解压搭建sqoop

在这里插入图片描述

1.1 解压后改名

在这里插入图片描述

1.2 修改配置文件

vim /etc/profile    
source /etc/profile

在这里插入图片描述

1.3 重命名

mv sqoop-env-template.sh sqoop-env.sh

在这里插入图片描述

1.4修改配置文件

在这里插入图片描述

1.5拷贝mysql驱动包到/usr/sqoop/lib库下

cp ~/mysql-connector-java-5.1.48.jar /usr/sqoop/lib/

在这里插入图片描述在这里插入图片描述

1.6 sqoop version查看版本

在这里插入图片描述

1.7 测试连接

sqoop list-databases --connect jdbc:mysql://master1:3306/ --username root --password 123456

在这里插入图片描述

2.将mysql中学生表导入到hive中

2.1 先清空hive中的student表

在这里插入图片描述

2.2 MysqlToHive.opt 文件内容

在这里插入图片描述

2.3 执行命令

sqoop --options-file  MysqlToHive.opt

在这里插入图片描述
在这里插入图片描述

3. 将hive中student表导出到mysql的学生表中

3.1 先清空mysql中的学生表

在这里插入图片描述
在这里插入图片描述

3.2 HiveToMysql.opt 文件内容

在这里插入图片描述

3.3 执行命令

sqoop --options-file  HiveToMysql.opt

在这里插入图片描述在这里插入图片描述

菜鸡努力学习中
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Sqoop实现Mysql到Hive的数据导入
QYHuiiQ
05-11 6016
使用sqoop将mysql数据导入至hive的本质，其实是数据先导入至hdfs，然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时，其实hdfs中也会有这个数据。 使用sqoop将数据导入至hive时，需要用到一个hive-common-xxx.jar下面的一个类，所以我们需要先将这个jar包上传至sqoop的lib目录下： 添加jar [root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQO
sqoop mysql到hive_用sqoop将mysql的数据导入到hive表中
weixin_42524100的博客
01-20 227
1：先将mysql一张表的数据用sqoop导入到hdfs中准备一张表需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下bin/sqoop import \--connect jdbc:mysql://172.16...
用sqoop将mysql的数据导入到hive表中的两种方式（亲测）
IT晓白
02-13 4361
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 数据存在 hdfs 目录 /user/xuyou/sqoop/imp_bbs_product_sannpy_ 下 bin/sqoop import \ --connect jdbc:mysql:/...
sqoop案例：MySQL迁移至Hive
刘李404not_found的博客
11-27 251
数据库 主机 测试库 MySQL 192.168.1.22 confluence_test Hive 集群 confluence_test 文章目录可选参数说明1、查看MySQL中的所有数据库2、查看confluence_test库中的表3、查看user_mapping表中的数据4、将user_mapping表导入Hive的confluence_test库5、将user_m...
使用Sqoop导出Mysql数据到Hive（实战案例）
邵奈一的博客
05-12 2319
教程目录0x00 教程内容0x01 SQL文件准备1. 准备sql脚本2. 执行sql脚本0x02 导出Mysql数据到Hive1. 导出数据到HDFS2. 构建Hive表关联HDFS（movie表）3. 构建Hive表关联HDFS（user_rating表）3.1 模拟增量添加数据操作4. 构建Hive表关联HDFS（users表）0xFF 总结 0x00 教程内容 SQL文件准备 导出Mys...
sqoop从mysql中导入数据到parquet格式的hive中
07-07
sqoop导入数据到hive
数据同步Sqoop用法之mysql与Hive导入导出.docx
11-12
Sqoop 用法之 MySQL 与 Hive 导入导出 Sqoop 是一个专门用于将 Hadoop 和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres 等）中的数据导进到 Hadoop 的 HDFS 中，也...
airflow_demo:使用Sqoop从Mysql向Hive导入增量数据的Airflow脚本
05-14
代码演示，如何编写基本的Airflow以实现从Mysql到Hive的增量导入。 ＃问题陈述：-MySQL具有名为'employee_profile'的表，该表具有雇员信息，包括名字，姓氏和SSN。 脚本应检查表中是否有新记录和修改过的记录，并...
sqoop-spark-hive:MYSQL | SQOOP | 火花| HIVE工作流程
04-27
mysql，sqoop，spark，hive工作流管道它将通过两个表order和order_items产生每日收入Sqoop 以“ parquet”格式将订单和order_items数据从mysql导入到hdfs 在这里，我们正在创建sqoop作业以用于增量数据导入命令订单...
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
最新发布
05-29
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive） 网址：https://blog.csdn.net/chenwewi520feng/article/details/130572275 介绍sqoop从关系型数据库mysql、sybase同步到hdfs、hive中
sqoop导入mysql数据到hive
jquery_learn的博客
05-15 1366
sqoop导入mysql到hive
使用sqoop将hive数据库导入至mysql
what_how_why2020的博客
06-19 4660
使用sqoop将hive数据库导入至mysql
sqoop连接hive和mysql_用Sqoop进行Hive和MySQL之间的数据互导
weixin_30649185的博客
01-19 440
Hive导数据入MySQL创建mysql表use anticheat;create table anticheat_blacklist(userid varchar(30) primary key ,dt int,update_time timestamp,delete_flag int,operator varchar(30));全量导出用sqoop export全量导出hive表数据入mysq...
Sqoop教程（二）使用Sqoop在MySQL与Hive之间进行数据导入导出操作
Java朱老师博客
05-11 1686
Sqoop主要作用是提供方便的Hive表和关系型数据库表的数据的导入导出操作。 运行Sqoop需要启动Hadoop 在hp1的MySQL中新建数据库test_sqoop，并建表student： 表结构： 表数据： 根据MySQL中student表结构，直接在Hive中建立一张表student_h： sqoop create-hive-table -connect jdbc:mysql://localhost:3306/test_sqoop -table student -username root -p
使用SQOOP将hive的数据导入到mysql
qq_29359303的博客
03-04 1433
使用SQOOP将hive的数据导入到mysql 使用SQOOP将hive的数据导入到mysql 我们一般会使用sqoop 将mysql的数据导入到hive中,但是有时候也会有需求使用。 使用的脚本如下：（一种方式） sqoop export --connect jdbc:mysql://127.0.0.1:3306/test?serverTimezone=Asia/Shanghai\&tinyInt1isBit=false\&autoReconnect=true --username r
通过sqoop进行mysql与hive的导入导出
东语的专栏
07-12 6127
本文主要介绍通过sqoop进行mysql与hive的导入导出。 1. 关系型数据库mysql表存取的结果，导出到hive; 2. 运用hive对结果进行清洗过滤，并将结果输出到HDFS; 3. 将HDFS的结果再次导出到关系型数据库mysql。
利用sqoop将hive和mysql数据互导入(转)
qq_24095055的博客
05-26 5369
文章目录一、sqoop 将数据从mysql 导入 hive二、sqoop 将数据从hive导出到 mysql 一、sqoop 将数据从mysql 导入 hive 导入步骤为： a.先将mysql数据用sqoop导入到hdfs中 sqoop import --connect jdbc:mysql://xxx:3306/xxx \ --username xxx \ --password xxx \ --query 'select columns from table_name where $CONDITION
数据工具sqoop用法之mysql与hive数据导入导出
萌兔兔MMQ！！
08-26 677
二、目录![在这里插入图片描述](https://img-blog.csdnimg.cn/5365076218b84b1b81f5795227b3ecde.png)
Sqoop MySQL 导入到Hive
LieBrother
04-21 1525
将数据库phx中的tree表的数据导入到Hive中命令：sqoop import --connect jdbc:mysql://node1:3306/phx \--username root \--table tree \--hive-import \--hive-overwrite \--create-hive-table \--hive-table tree1 \--target-dir /sq
怎么使用sqoop将mysql数据表导入hive中
05-13
要使用 Sqoop 将 MySQL 数据表导入到 Hive 中，需要遵循以下步骤： 1. 确保已经安装了 Sqoop 和 Hive。 2. 在 Hive 中创建一个数据库，用于存储导入的数据表。 3. 在 HDFS 中创建一个目录，用于存储导入的数据。 4. 使用 Sqoop 的 import 命令将 MySQL 数据表导入到 HDFS 中： ``` sqoop import \ --connect jdbc:mysql://mysql-server:3306/mydatabase \ --username mysqluser \ --password mysqlpassword \ --table mytable \ --target-dir /user/hive/warehouse/mydatabase.db/mytable \ --fields-terminated-by ',' \ --hive-import \ --hive-table mydatabase.mytable ``` 其中，`jdbc:mysql://mysql-server:3306/mydatabase` 是 MySQL 数据库的连接 URL，`mysqluser` 和 `mysqlpassword` 分别是 MySQL 数据库的用户名和密码，`mytable` 是要导入的数据表名，`/user/hive/warehouse/mydatabase.db/mytable` 是数据导入到 HDFS 中的目录，`--fields-terminated-by ','` 指定了字段分隔符为逗号，`--hive-import` 表示需要将数据导入到 Hive 中，`--hive-table mydatabase.mytable` 指定了在 Hive 中创建的目标表的名称和所在的数据库。 5. 在 Hive 中创建一个外部表，将 HDFS 目录中的数据映射为 Hive 表： ``` CREATE EXTERNAL TABLE mydatabase.mytable ( column1 datatype1, column2 datatype2, ... ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/user/hive/warehouse/mydatabase.db/mytable'; ``` 注意，这里的表结构要与 MySQL 数据表的结构保持一致。 6. 使用 Hive 的 INSERT INTO 语句将数据从外部表中插入到 Hive 表中： ``` INSERT INTO mydatabase.mytable SELECT * FROM mydatabase.mytable; ``` 这样就完成了将 MySQL 数据表导入到 Hive 中的操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值