Hive多字节分隔符解决方案

目录

1 应用场景

1.1 Hive中的分隔符

1.2 特殊数据

2 问题与需求

2.1问题

2.2 情况二：数据中包含了分隔符

3 解决方案

3.1 解决方案一：替换分隔符

3.2 解决方案二：RegexSerDe正则加载

3.3 解决方案三：自定义InputFormat

4 总结

---

1 应用场景

1.1 Hive中的分隔符

Hive中默认使用单字节分隔符来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为\001。根据不同文件的不同分隔符，我们可以通过在创建表时使用 row format delimited fields terminated by ‘单字节分隔符’ 来指定文件中的分割符，确保正确将表中的每一列与文件中的每一列实现一一对应的关系。