mysql导数据到hive后换行符冲突的解决

最新推荐文章于 2024-02-23 15:18:11 发布

sghuu

最新推荐文章于 2024-02-23 15:18:11 发布

阅读量1.7k

点赞数 1

分类专栏： hive

本文链接：https://blog.csdn.net/sghuu/article/details/108392522

版权

hive 专栏收录该内容

5 篇文章 0 订阅

订阅专栏

本文探讨了数据迁移过程中遇到的换行符冲突问题，特别是在使用sqoop和dataX工具从MySQL迁移到Hive时。提供了两种解决方案：一是通过sqoop参数将换行符替换成空字符串；二是采用orc列式存储格式来避免数据错乱。

摘要由CSDN通过智能技术生成

在采用常用的数据迁移工具时，常会采用sqoop和dataX工具，在数据迁移时难免会遇到一些特殊字符的处理，比如hive里的换行符\n无法更改，而原数据源难免的会存在一些数据格式会存储\n,如mysql里的mediumtext格式就会存储有\n，这是后数据存储进hive后就不可比遍的与hive的换行符冲突，造成数据的切分错乱。
解决方案：
方案一：
把换行符替换成空字符串，sqoop中有替换的参数，但是datax中没有。
如下将下将换行符换成 ‘\n’，在sqoop的配置李添加下列参数
–hive-delims-replacement ‘\n’ \
方案二
有些场景中，为了保留数据的完整性，必须保留换行符怎么办呢？
既让换行符冲突，那么我们在存储数据时采用列式存储，这样就不会因为某字段存有换行符而导致数据错乱，常采用orc列式存储格式
步骤1.建时是指定存储格式和压缩格式添加如下参数：

ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
 TBLPROPERTIES (
  'orc.compress'='ZLIB')

步骤2.写sqoop导出数据到hive时指定存储压缩格式

 --hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="ZLIB")' \