hue sqoop mysql_SqoopMySQL2Sqoop修改源表结构对同步数据的影响

最新推荐文章于 2023-07-12 22:50:30 发布
最新推荐文章于 2023-07-12 22:50:30 发布
阅读量168 收藏 1
点赞数
文章标签： hue sqoop mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36356002/article/details/114505344
版权
本文通过Sqoop在Cloudera VM上将MySQL数据同步到Hive，并探讨了MySQL数据及表结构改变时，对Hive数据同步的影响。实验表明，数据修改会更新Hive数据，而表结构修改不会同步到Hive，新增或删除列会导致Hive中对应列显示NULL或不更新。
摘要由CSDN通过智能技术生成

bc3f9276acf88283a0569b9b9ef9ee92.png

在线QQ客服：1922638

专业的SQL Server、MySQL数据库同步软件

本文用Sqoop实现MySQL中数据向Hive数据的抽取，研究在修改MySQL中数据以及表结构对抽取结果的影响

cloudera VM(包含Hadoop生态各组件)，并在此VM中安装MySQL

Mysql中表数据如下所示:

7b04731c2d31d3b44a66ce03f080443d.png

利用SQOOP从MySQL向Hive同步数据:

源表mysql:wht.people

目的表:Hive: db01.people

在HUE中查询Hive中数据:

04ae9b40e3a7010206006b7282e52c94.png

修改MySQL中数据，重新同步，检查Hive中数据是否会被更新

结论:Hive中的数据会被更新

推测:数据文件被删除后重新进行了抽取

d72eac6fce14c4e06b8ab98ba1c31a37.png

1dcbb516e888febb46e4823a909bb594.png

增加/删除MySQL中数据，重新同步，检查Hive中数据是否会被增加

结论:Hive中的数据会增加/删除

推测:应该是被删除后重新进行了抽取

c6cd35c41b95ed7b1b83722b0c11d27a.png

a24754dbfebd35ea5a6caa94336989fd.png

修改MySQL中表结构，增加一列，检查Hive中表结构是否会被同步修改

现象:源表中的新增列没有被同步过来

推测:应该只有数据文件被重建，但是元数据不会被修改

865c5809ebb901685f7cf868a726d21b.png

d35f376c11bad86c265660ee89dbcd2e.png

49e6498b2ee58d7a14a8dfbf8910ba59.png

修改MySQL中表结构，删除一列，检查Hive中表结构是否会被同步修改

现象:源表中的删除列在Hive显示值为NULL

推测:应该只有数据文件被重建，但是元数据不会被修改

ba56a2b235c14ac5fa4e0f11eaed980a.png

b6c0de106efaa729c1329ac6776abf3a.png

159fb7293bc3b09ec18138967d02b220.png

Intopia
关注
sqoop 抽取mysql数据_sqoop抽取mysql数据到hive
weixin_34489135的博客
01-30 642
对于sqoop，我之前只是知道作用，并未对其进行研究。最近设计基础架构的过程中，其中一环需要用到sqoop，用来导数据，涉及全量和增量，于是花时间学习了一下。这里讨论sqoop导数据的全量和增量的功能，以及遇到的一些问题。下面的案例是：使用sqoop将mysql的数据导入hive中，数据来自天气数据。制造数据源通过NiFi采集天气数据，保存到mysql。具体的采集流程并非本文重点，这里就不做描述了...
sqoop对mysql的影响_sqoop问题记录
weixin_39842617的博客
01-30 361
本篇文章用于记录sqoop使用过程中用到的问题1.sqoop 导入过程中报错ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: The connection property 'zeroDateTi...
Sqoop：MySQL2Sqoop修改源表结构对同步数据的影响
日进一步
05-26 1560
背景信息：本文用Sqoop实现MySQL中数据向Hive数据的抽取，研究在修改MySQL中数据以及表结构对抽取结果的影响环境：cloudera VM（包含Hadoop生态各组件），并在此VM中安装MySQL初始状态：Mysql中表数据如下所示：利用SQOOP从MySQL向Hive同步数据：源表mysql:wht.people 目的表：Hive: db01.peoplesqoop import --...
sqoop 抽取mysql数据_Sqoop抽取数据到MySQL时遇到的问题
weixin_42569429的博客
01-19 798
背景对数据进行标准的ETL流程的操作Sqoop ==data==> Hive ETL==sqoop==> MySQLxxx.properties文件mysql_driver="jdbc:mysql://localhost:3306/ruozedata_bi"mysql_username="root"mysql_password="root"driver_rep="jdbc:mysql:...
hive表结构同步到MySQL_Sqoop将MySQL表结构同步到hive(text、orc)
weixin_39964528的博客
01-19 303
ThinkPHP3.1.3源码分析---php文件压缩zlib.output_compression 和 ob_gzhandler问题来源:\ThinkPHP3.1.3_full\ThinkPHP\Lib\Core\App.class.php 中 init()方法 if(C('O...
hue平台oozie工作流操作sqoop，把mysql.pdf
05-28
本文主要讲述在Hue平台使用Oozie工作流操作Sqoop工具将MySQL数据库的数据传输到HDFS中，并最终导入到Hive表中的经验。以下是详细知识点： 1. Hue平台和Oozie工作流简介： Hue是一种开源的用户界面，用于简化与...
数仓生态圈辅助工具 -- Hue Sqoop Oozie Presto
最新发布
Alfie的博客
07-12 432
本文主要内容是关于大数据分析交互平台Hue,数据迁移工具Sqoop和工作流调度工具Oozie.掌握这些工具的使用有助于我们更好地学习大数据知识.
sqoop2的安装包
12-18
Sqoop2是一款用于在Hadoop和关系数据库管理系统（RDBMS）之间进行数据迁移的工具。它是Apache Sqoop项目的第二代版本，旨在提供更高级的功能和更好的可扩展性，以支持大数据环境中的复杂数据导入导出任务。在这个...
Hue中使用sqoop问题汇总
weixin_41347226的博客
06-04 400
Hue中执行Sqoop的方法和注意事项。包含部分遇到的问题和解决方法。 操作用户：bigdata Hue提供执行Sqoop命令的功能。 使用方法 与在终端执行Sqoop命令不同，在Hue中执行Sqoop命令，应该直接使用Sqoop的一级子命令。 Sqoop在终端和Hue执行的区别 在终端执行 sqoop-import \ -D org.apache.sqoop.splitter.allow_text_splitter=true \ --connect jdbc:postgresql://postg
sqoop1.x 导入数据
01-11
### Sqoop 1.x 数据导入详解 #### 一、Sqoop 概述 Sqoop 是一款开源工具，用于高效地在 Hadoop 和关系型数据库之间传输数据。它通过 JDBC 连接到关系型数据库，并利用 MapReduce 作业并行化数据传输过程。本文将...
Hive修改表结构
穷目楼的博客 - 昨日所记，今日所想，明日所学
08-29 1302
Hive修改列 选项 CASCADE|RESTRICT默认为RESTRICT仅改变表，CASCADE同时改变分区。 修改列 ALTER TABLE table_name [PARTITION partition_spec] CHANGE [COLUMN] col_old_name col_new_name column_type [COMMENT col_comment] [FIRST|AFT...
sqoop2基本架构、部署和个人使用感受
weixin_34238642的博客
06-28 307
一、概述    随着公司集群升级到2.x，hadoop周边的一些工具也进行了版本的更新。这次主要说说sqoop2的升级和部署，其中sqoop1和sqoop2基本框架和用法发生翻天覆地的改变，其对版本的向下兼容做的十分不好，接下来慢慢说，总之各种值得吐槽的地方。二、sqoop2的基本框架，以及部署(1)首先说说sqoop1和sqoop2区别    这两个版本是完全不兼容的，其具体的版本号区别为1.4...
Hive分区表表结构发生变动可能带来的问题？
小道的博客
04-19 782
  首先，由于业务场景的需求调整可能会需要修改一些已经存在的表结构，比如增加字段、修改字段类型等，所以可能会有一些隐藏因素导致后续查询和插入数据报错;   原始数据表结构 create external table ordercount ( channel string, platform string, whetherornotbuy int, headcount int, order_count int, order_time string ) partitioned by (dt stri
hive表信息查询：查看表结构、表操作等
热门推荐
lskyne的专栏
08-07 14万+
转自： 问题导读： 1.如何查看hive表结构？ 2.如何查看表结构信息？ 3.如何查看分区信息？ 4.哪个命令可以模糊搜索表
在hue中操作hive
qy20115549的博客
11-08 1万+
创建新表建表语句如下：CREATE TABLE IF NOT EXISTS user_collection_9( user_id string , seller_id string , product_id string , time string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ; hue中向hive导入数据首先，
hive 修改表结构
求知：数据科学家之路
12-22 2259
hive表结构修改本期介绍hive中关于表结构的修改修改表名修改字段调整字段的位置增删字段综合操作 本期介绍hive中关于表结构的修改 在工作中，有时候会遇到老表的数据已经不能支持新的业务需求，若是重新创建一个表来承载，稍微麻烦，若是用旧表来写数据，就需要对旧表做调整。下面的内容就是介绍如何对hive表结构做修改 基本操作 修改表名 rename to ALTER TABLE old_ta...
修改hive表结构
程序员小祝的博客
09-28 3507
1)修改表名： ALTER TABLE ndiip_online.xx RENAME TO ndiip_online.yy; 2)修改字段 ALTER TABLE ndiip_online.xx CHANGE COLUMN 旧列名 新列名 新数据类型 ; 3）增加列 ALTER TABLE ndiip_online.xx ADD COLUMNS ( 新列名 数据类型 COMMENT ’ 列名注释 ’ ); 4）删除hive表的分区 ALTER TABLE ndiip_online.xx DROP P
hive-修改表结构
DCHAO的博客
03-13 6203
自定义标题http://www.manongjc.com/article/57670.html一、列的CRUD1. 增加列2. 改变列名/类型/位置/注释3. 删除列二、分区1. 新增分区2. 重命名（移动）分区example3. 表之间移动分区4. 恢复分区（加载分区文件）（MSCKREPAIR TABLE）example：5. 删除分区example三、表1. 重命名2. 修改表的`TBLPR...
"大数据工具及框架学习笔记：sqoop, flume, hue
Sqoop支持多种关系型数据库，如Oracle、MySQL等，它提供了简单易用的命令行界面和丰富的参数选项，可以满足各种数据导入导出的需求。 接下来，我们来了解一下文件收集框架flume。Flume是一个分布式、可靠且可容错的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值