catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'timesta

org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'timestamp

不知道什么问题，只是这一句报错就都没有找到问题的根源，可能的原因分析了一下：

 val result = df.withColumn("timestamp",current_timestamp)
                  .withWatermark("timestamp", "0 seconds ")

1、当使用df.writeStream时就会报这个错误 ，但是把df映射成一张表df.createOrReplaceTempView("table"),再对这个表用spark.sql("select * from table"),就不会报错。还有就是一个是用spark.streams.awaitAnyTermination()，另一个是用的writeStream返回值的df.awaitAnyTermination(）

2、current_timestamp（）这个方法是在 org.apache.spark.sql.functions里面的，在为dataFrame添加一个字段，并且是最后一个字段的时候就会出现这个问题，若在这之后再对dataFrame做另外一些操作就不会出现这个问题。不同时期执行同样的代码有可能会出现这个问题，有可能不会出现，也就是说随机出问题。

 

3、解决办法：

根据问题的随机性，可能是spark的一个bug。

1）不输出到控制台，输出到文件或者数据库

2）将这个df的所有数据select（“*”）出来，再输出到控制台

3）将current_timestamp（）函数换成以下代码部分

val result = df.withColumn("timestamp", from_unixtime(unix_timestamp(),"yyyy-MM-dd HH:mm:ss"))
.withWatermark("timestapm","0 seconds")