Hive特殊分隔符处理

最新推荐文章于 2023-10-10 16:27:12 发布

谦卑t

最新推荐文章于 2023-10-10 16:27:12 发布

阅读量2.3k

点赞数 1

分类专栏： Hive 文章标签： Hive特殊分隔符处理

本文链接：https://blog.csdn.net/qq_42246689/article/details/84713265

版权

本文介绍了如何在Hive中处理特殊分隔符，特别是多字节分隔符的情况。Hive默认仅支持单字节分隔符，但可以通过RegexSerDe配合正则表达式或自定义InputFormat实现对多字节分隔符的处理。自定义的`BiDelimiterInputFormat`和`BiRecordReader`将多字节分隔符替换为Hive默认分隔符，确保字段正确解析。要使用自定义输入格式，需要将jar包添加到Hive库并重启服务。

摘要由CSDN通过智能技术生成

补充：hive 读取数据的机制：

1、首先用 InputFormat<默认是：org.apache.hadoop.mapred.TextInputFormat >的一个具体实现类读入文件数据，返回一条一条的记录（可以是行，或者是你逻辑中的“行”）

2、然后利用 SerDe<默认：org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe>的一个具体实现类，对上面返回的一条一条的记录进行字段切割

Hive 对文件中字段的分隔符默认情况下只支持单字节分隔符，如果数据文件中的分隔符是多字符的，如下所示：

01||huangbo

02||xuzheng

03||wangbaoqiang

1.使用RegexSerDe通过正则表达式来抽取字段

create table t_bi_reg(id string,name string) row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe' with serdeproperties('input.regex'='(.*)\\|\\|(.*)','output.format.string'='%1$s %2$s') stored as textfile;

hive>load data local inpath '/home/hadoop /hivedata/bi.dat' into table t_bi_reg;

hive>select * from t_bi_reg;

2、通过自定义 InputFormat 解决特殊分隔符问题

其原理是在 inputformat 读取行的时候将数据中的“多字节分隔符”替换为 hive 默认的分隔符（ctrl+A 亦即 \001）或用于替代的单字符分隔符，以便 hive 在 serde 操作时按照默认的单字节分隔符进行字段抽取

com.ghgj.hive.delimit2.BiDelimiterInputFormat

package com.ghgj.hive.delimit2; 
import java.io.IOException; 
import org.apache.hadoop.io.LongWritable; 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapred.FileSplit; 
import org.apache.hadoop.mapred.InputSplit; 
import org.apache.hadoop.mapred.JobConf; 
import org.apache.hadoop.mapred.RecordReader; 
import org.apache.hadoop.mapred.Reporter; 
import org.apache.hadoop.mapred.TextInputFormat; 
 
public class BiDelimiterInputFormat extends TextInputFormat { 
 
@Override public RecordReader<LongWritable, Text> getRecordReader(InputSplit genericSplit, JobConf job, Reporter reporter)throws IOEx