[J is not a valid external type for schema of bigint

问题:

起源:在spark任务中,在将TFrecord的数据写入到Hive表中时,使用Datafram读取数据,解析,转化,得到DataFram[Row],再与Schema匹配,写入到Hive表中,打印Datafram的Schema,发现没有问题,但程序一直写不进去,报错,

在解析数据写入到hive表时,出现

 [J is not a valid external type for schema of bigint

可以看到是数据类型不匹配导致的异常,但是 [J数据类型是怎样的?表中的字段近乎1000个,如何排查是由于那个数据类型不一致导致的?

解决:

一定是由于数据类型不匹配导致的异常,
1、排查在datafram中Row的数据和Schema中定义的字段名,类型是否可以匹配,一般是由于不匹配导致的异常。

可以采用打印一行Row,看数据是如何的?

发现是给Row中某个字段解析出来的类型是array <bigint>,
在Schema中定义的是bigint,
在Hive表中定义的是bigint,

定义的类型和hive表的字段的类型不一致,(在Schema与Datafram匹配的时候不会报错,),导致数据写不到hive表中,[J显示的是某个字段的Hash,我这里是
[J@6a5f9cdb,分析该字段应该是array《bigint》类型,
[L@*********,array《float》但定义时时int类型,导致错误

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值