Sqoop同步数据数据中存在换行符导致两边数据条数不一致问题解决（AVRO格式应用）

已于 2024-09-06 14:02:45 修改
阅读量1.4k 收藏 8
点赞数 1
分类专栏： # Hive 实战技术 文章标签： hive hadoop sqoop
于 2022-05-03 17:55:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/godlovedaniel/article/details/124558628
版权
Hive 实战技术 专栏收录该内容
52 篇文章 0 订阅 ¥9.90 ¥99.00
订阅专栏

目录

0 引言

1 现象

2 问题解决

03 小结

0 引言

“ 本文讲解了Sqoop同步数据中存在特殊换行符导致两边数据不一致问题的解决方法，同时对AVRO对解决这一类问题进行了重点讲解，包括AVRO语法格式、Hive建表语法等。”

  • 本文主要知识点：AVRO存储格式及建表语法

1 现象

问题：Sqoop采集完成后导致HDFS数据与Oracle数据量不符。

原因

  • sqoop以文本格式导入数据时，默认的换行符是特殊字符

  • Oracle中的数据列中如果出现了\n、\r、\t等特殊字符，就会被划分为多行

  • Oracle数据

id
了解本专栏 订阅专栏 解锁全文
莫叫石榴姐
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
sqoop同步mysql间的数据_数据迁移之Sqoop
weixin_39980353的博客
02-04 1293
一 简介Apache Sqoop(TM)是一种用于在Apache Hadoop和结构化数据存储(如关系数据库)之间高效传输批量数据的工具。1.Sqoop是什么Sqoop：SQL-to-Hadoop连接 传统关系型数据库 和 Hadoop 的桥梁把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中；把数据从 Hadoop 系统里抽取并导出到关系型数据库里...
sqoop导入数据到hive中，数据不一致
05-04
NULL 博文链接：https://kingding.iteye.com/blog/2435018
sqoop去除换行符
LSB19930706的博客
04-24 592
--hive-drop-import-delims
使用sqoop进行数据迁移遇到回车符、换行符问题
weixin_67805929的博客
02-13 1079
当使用sqoop进行数据迁移遇到换行符的问题可能会导致sqoop任务执行完迁移的数据条数与在hive中查询SQL得到的数据条数可能不一致，造成这个错误的原因大概率是换行符或者回车符的问题。在执行sqoop命令时加上如下命令即可成功实现中英文换行符、回车符等特殊符号的处理问题，本质就是将数据源的数据单元格里面的大的文本或者具有特殊符号的数据认定为string。--hive-drop-import-delim 删除特殊字符及换行符。-- 查询替换某个既含有换行符又含有回车符的字段。-- 此处替换为空格。
Sqoop从MySQL导数据至hive数据表异常(数据量不对,数据值不对)
argue10的博客
04-19 3947
通过数据比对，发现sqoop导入hive的数据与MySQL原始数据对应不上，表现为两点： ①查数据总数不对，MySQL的count(1) = 108120条数据，但是导入至hive发现只有108112条数据，数据发生了丢失。 ②应查数据值不对，查询到某个字段，MySQL值中仅有1,2两种值，但是hive表中包含1,2，以及一串看不懂的数字。 经反复核对数据，发现问题症结，所以就将它记录下来了。 ...
使用Sqoop迁移MySQL数据到Hive，数据条数不一致
ZTE10223797的博客
04-17 1413
使用Sqoop迁移MySQL数据到Hive，数据条数不一致问题描述问题分析解决方法结果验证 问题描述 项目上有一个将 MySQL 数据迁移到 Hive 数据的需求，使用了Sqoop 工具，但是在迁移结束后核验数据的时候发现 Hive 中数据始终比 MySQL 中多了几行； 在执行Sqoop 成功之后，日志输出有显示Retrieved 775044 records. 2020-04-17 15:31...
Sqoop数据转换：使用Avro和Parquet格式
# 1. 引言 ## 1.1 背景信息 在大数据领域，数据的导入和...特别地，我们会探讨如何使用Avro和Parquet格式进行数据转换，以及在Sqoop中对这两种格式进行配置和使用。 ## 1.3 阐述本文结构 本文将分为六个章节： - 第二
sqoop数据迁移
lsy107816的博客
12-19 568
sqoop数据迁移 概述： sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 工作机制：是将导入和导出的命令翻译成mapreduce程序来实现，在翻译出的mapreduce中主要对inp...
数据中台建设方案-基于大数据平台
最新发布
2301_76549664的博客
03-14 4419
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
sqoop 处理换行符 \n 和\r 等特殊符号处理
wuzhilon88的专栏
12-31 5102
公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。因为sqoop 导出文件不能是ORC这种列式存储，所以只能替换。导出后对替换的字符在进行替换，将数据表存储orc 解决办法： 利用一下两个参数可以实现对换行等特殊字...
临时记录：Sqoop导出mysql至hdfs 遇到mysql数据中包含换行符导致数据错位&sqoop增量merge时报错
yueyinmian的博客
05-20 1199
错误原因如题：报错关键字： sqoop Opening field-encloser expected at position 0 报错信息分析：sqoop做merge时期望在位置0时有列分隔符 会出现各种位置，跟mysql字段有关，换行符导致数据放入了第二行，merge时报错 解决方法：sqoop增加神奇的字段：--hive-drop-import-delims 指定导入时删除hive的...
Sqoop 将db2数据导入到hive中出现数据条数不一致问题分析
success could be revenge的博客
05-17 1454
import--connectjdbc:db2://host:port/database   //db2驱动--usernamexxx //用户名--passwordxxx //密码--tabledb2table //db2中的表名字--split-byid //分块建议使用主键column字段名称作为分割块的依据，这样减少导入误差--m16 //1-更大 速度主要...
用sqoop从mysql、oracle导入数据到hive时，遇到换行符导致数据翻倍的问题
yyf960126的博客
03-08 1828
场景 由于mysql库中有的字段会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。 解决方法 利用一下两个参数可以实现对换行等特殊字符的替换或者删除 --hive-delims-replacement替换 --hive-drop-import-delims删除 sqoop官网解释 - -hive-drop-import-del...
Sqoop--源数据含有默认换行符导致的数据不正确
ChengYanan的博客
05-01 582
问题描述 使用sqoop导数导到hdfs中，使用Hive查询发现数据多了，并且有数据错位的现象。 原因 源数据中有'\n'换行符，导致被hive识别为换行符。所以出现了记录多并且数据错位的现象。 解决方法 使用sqoop命令时加入： --hive-drop-import-delims 例如： sqoop import \ --connect ${CONNECT} \ --username ${...
sqoop导出mysql数据到hive中，因mysql中string类型字段中含有换行符导致拉取到hive，格式不正确，出现错误等现象
lyq7269的博客
03-12 500
问题描述 sqoop拉取mysql数据到hive中出现现象 mysql数据到hive结构不对了，被打散了，变成一行一行中只有第一列有数据，其他均为null。 或者压根就直接报错sqoop Opening field-encloser expected at position 0 出现原因 因为mysql某个字段中出现换行符，导致数据拉取时出现还没有拉去完直接进行了换行，算作下一行数据的开头。 解决办法 再sqoop拉取命令中加上这样一个命令 --hive-drop-import-delims 这条命令
Sqoop、datax——源数据换行符导致的数据不正确
大壮的博客
06-28 2517
会出现多条数据的情况，数据是有问题的。这里我们要找到办法。 首先来看sqoop的办法 --hive-drop-import-delims 然后等一会儿看看是否有问题。 然后找一下datax的是否有问题。 datax暂时除了改源码没有想到办法，但是别急，后续我会跟进的。 来看下sqoop是否已经ok了， sqoop牛逼 ...
sqoop导入hive数据时对换行等特殊字符处理
u011250186的博客
06-04 598
脚丫先生2020-06-04 11:21:46864收藏1 分类专栏：# sqoop和datax 版权 调度Airflow 本专刊主要以调度系统Airflow详细讲解(会把工作中对于调度系统的docker容器化部署、java封装airflow工具类等) 脚丫先生 ¥19.90 订阅专栏 使用场景： 公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换...
通过工具sqoop导入hive数据时对换行等特殊字符处理
weixin_43390992的博客
02-26 965
使用场景： 公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。 解决办法： 利用一下两个参数可以实现对换行等特殊字符的替换或者删除 --hive-delims-replacement --hive-drop-import-del...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值