如何让hive支持多字符分割列

最新推荐文章于 2023-09-14 14:07:19 发布

江畔独步

最新推荐文章于 2023-09-14 14:07:19 发布

阅读量2.5k

点赞数

分类专栏： Hive 文章标签： hive

本文链接：https://blog.csdn.net/liuwei0376/article/details/72689429

版权

Hive 专栏收录该内容

18 篇文章 0 订阅

订阅专栏

默认情况下，hive仅支持单个字符来进行列分割。实际工作中，为了防止实际数据中，包含列分隔符，常使用多个字符串来分割数据列。

可以在hive建表语句中，使用built-in的 org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe类，来使你的表支持多字符分割列。

Hive测试版本为：hive-1.1.0-cdh5.7.1，其他版本需自行测试

drop table test;

create external table test (c1 string, c2 string,c3 string) 
row format SERDE'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
with serdeproperties(
"field.delim"="^|~"
)
location '/user/hive/warehouse/test;


load data local inpath '/home/david/test/test_hive_data/multichar_separator_raw.txt' into table test;

select * from test;