Spark中Dataset[Row] Row.getAs[T](fieldname)无效的解决方案(Scala)
在spark中使用Dataset[Row]也就是DataFrame做处理时,如果改变了数据结构,并用implicit Encoder做隐式转换,会出现数据格式无效,在后续处理的时候无法使用 row.getAs[T](fieldname)来获取数据。可能是在spark处理的时候丢失了行数据的格式,在dataset上获取schema可以获得隐式转换中的数据结构,但是处理行数据的时候,schema值...
原创
2019-12-06 13:13:57 ·
5040 阅读 ·
0 评论