【Bug记录】:利用StreamSets的Kafka组件写入HBase后,读取HBase数据时Decimal类型数据异常

今天在实时读取HBase维度数据时发现取数据时有问题,Deicmal类型的数据异常,经过排查推理发现最后是Kafka数据通过StreamSets写入时存在问题:

问题原因:

Kafka里存的是Json数据,StreamSets通过解析JSON数据后把每个字段值写入HBase,因为JSON里字段是没有具体数据类型的,StreamSets可能会把字段转成字符串后解析成二进制写入HBase,这里就造成存储HBase的Decimal类型数据精度存在问题。

解决办法:

新增一个Field Type Converter组件模块,把JSON中为DECIMAL类型的字段由String类型转成DECIMAL类型,并标注精度和Round方式:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

XuTengRui

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值