![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
ERROR日志记录
日常工作遇到的ERROR及处理过程
DSJ_ kohler
逻辑严谨
展开
-
Hudi编译中maven-remote-resources-plugin:1.5:process: org/apache/commons/collections/ExtendedProperties
在hudi编译中执行maven package时报maven-remote-resources-plugin:1.5缺少collections 下的ExtendedProperties方法,原创 2023-02-01 22:43:49 · 450 阅读 · 0 评论 -
JSON解析Map类型异常
JSON解析map格式异常原创 2022-10-24 12:15:00 · 777 阅读 · 0 评论 -
spark引擎执行sql报错:JsonParseException:Unexpected_character
com.fasterxml.jackson.core.JsonParseException Unexpected_character("code原创 2022-07-10 11:57:32 · 1288 阅读 · 0 评论 -
[J is not a valid external type for schema of bigint
问题:起源:在spark任务中,在将TFrecord的数据写入到Hive表中时,使用Datafram读取数据,解析,转化,得到DataFram[Row],再与Schema匹配,写入到Hive表中,打印Datafram的Schema,发现没有问题,但程序一直写不进去,报错,在解析数据写入到hive表时,出现 [J is not a valid external type for schema of bigint可以看到是数据类型不匹配导致的异常,但是 [J数据类型是怎样的?表中的字段近乎1000个,原创 2021-11-23 23:49:30 · 1082 阅读 · 0 评论 -
java.lang.ClassNotFoundException:tfrecord.Defaultsource
java.lang.ClassNotFoundException:tfrecord.Defaultsource报错信息:1、java.lang.ClassNotFoundException:tfrecord.Defaultsource2、java.lang.ClassNotFoundException:tensorflow.Defaultsource出现这两个异常,是由于缺失spark-tensorflow的jar包导致的,可以从以下几个方面进行排除。1、先确定在代码在pom依赖中配置ok2、原创 2021-10-31 09:22:20 · 840 阅读 · 0 评论 -
scala JSON解析报错:JSONException: illegal getter
scala解析json中的注意事项原创 2022-07-17 09:10:21 · 841 阅读 · 0 评论 -
java.lang.String cannot be cast to org.apache.spark.unsafe.types.UTF8String
问题最近遇到一个问题,在用spark读取tensorflow的文件并写入时//读数据val df = spark.read.format("tfrecords").load(readPath).toDF()//写数据df.write.mode(SaveMode.Overwrite).format("tfrecords").option("recordType","Example").save(writePath)出现如下报错:org.apache.spark.SparkException:原创 2021-07-13 13:49:18 · 1706 阅读 · 0 评论