关于hive的transform函数对于集合的输入输出

HIVE官方介绍了关于Transform的基础使用方法,但是对于关于存在集合的情况介绍并不清楚

1. 列的分隔符大家都知道是TAB,但如果列的类型是array<int>,array如何传递给transform呢?

array<int>输出给transform脚本的格式是这样: [1,null,2]

即前后被中括号括起来,逗号分隔,如果item为空则输出字符串null

2. 如果是array<string>呢?怎么区分字符串null与真正的空?

array<int>输出给transform脚本的格式是这样: [“hello”,“null“,null],字符串都被双引号引起来了,所以字符串null与真正的null可以正确区分。

3. map<int, string>是怎么输出呢?

map<int, string>输出给transform脚本的格式是这样: {33:"good",4:"bad"},被大括号括起来。

4. struct<a:int, b:string>是怎么输出呢?

struct<a:int, b:string>输出给transform脚本的格式是这样: {"a":null,"b":null}


其实总结起来就是一句,json格式,与select出来看见的一致。但是,问题来了,我们怎么输出一个array<int>,难道也是[1,null,2]这种格式吗,这是不行的,输出的时候,不能带中括号、大括号,而是用\002作为划分items的分隔符,\003作为划分key value的分隔符(HIVE内部其实还有\004-\008作为嵌套分隔符)


以上是在HIVE 1.2.1上测试结论。



  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值