spark:java.lang.ClassCastException: java.lang.Double cannot be cast to java.lang.String
java.lang.ClassCastException: java.lang.Double cannot be cast to java.lang.String
java.lang.ClassCastException: java.lang.Double cannot be cast to java.lang.String
at org.apache.spark.sql.Row$class.getString(Row.scala:255)
at org.apache.spark.sql.catalyst.expressions.GenericRow.getString(rows.scala:166)
查看spark源码
def getString(i: Int): String = getAs[String](i)
def getAs[T](i: Int): T = get(i).asInstanceOf[T]
spark row对象的getString方法是通过asInstanceOf来转换数据类型的,而double类型是通过asInstanceOf来转成string 会因为泛型擦除问题而报错,可以将getString方法用get代替
java.lang.ClassFormatError: Too many arguments in method signature in class
java最大允许255个参数,long、doubule,会占用两个单位数,所以scala的样例类要减少参数数量。
本文探讨了Spark中由于泛型擦除导致的转型错误,即尝试将Double类型强制转换为String时的ClassCastException。作者提供了解决方法,即替换getString方法以避免使用asInstanceOf。同时,提到了Java方法签名参数限制和如何减少参数数量以避免ClassFormatError。
886

被折叠的 条评论
为什么被折叠?



