善皮之的博客

背景故事先看报错信息：mismatched input ‘-’ expecting ‘:’报错的意思就是说，在这个表里面，字段名中存在特殊符号“-”，无法解析报错。这个问题会发生在CDH的spark中。如果不是CDH的spark版本的程序，可以跳过此文章。解决方案：不要使用CDH版本的spark就好了。比如我这里出现报错的时候，使用的版本是2.4.0-cdh6.1.1 那么把这个版本修改为2.4.0就好了。过程分析过程早就分析完了，下面写一篇结果：环境版本spark-sql_2.11

问题来源同事在一次spark程序中，通过spark在kafka中的topic中写入数据发生报错，错误日志如下:2021-01-25 19:58:11,794 INFO utils.AppInfoParser: Kafka version : 2.0.0-cdh6.1.12021-01-25 19:58:11,794 INFO utils.AppInfoParser: Kafka commitId : null2021-01-25 19:58:11,984 INFO codegen.CodeGener

Spark报错: java.lang.UnsupportedOperationException: Unimplemented type:LongType记录一下Spark报错，好记性不如烂笔头背景：spark程序读取数据报错打开下面是spark的报错信息测试代码是:spark.read.parquet(path).show()原因：这个问题是目录里面的parquet文件的schema信息不一致导致的，详细的原因是：目录下面的多个parquet文件中的字段个数和字段的名称是一致的。但是有一个

[Spark报错]:Detected cartesian product for LEFT OUTER join between logical plansFBI warning：xian si kao yao bu yao di ka er cha xun, If true Then return注意：先思考一下自己sql语句是不是真的需要笛卡尔查询，如果是的话，本文跳过开门见山测试程序...

Spark存储parquet报错：Expected: int, Found: INT64原因：hadoop上面有一个文件夹里面存储的dataFrame中的一个列名为a的字段类型为IntegerType读取mysql中对应的表的时候相同列名a字段的类型是LongType写入parquet的时候类型变为IntegerType看起来没有什么大问题，但是之前的文件夹中的IntegerType是32位...

spark启动报错:java.lang.ClassNotFoundException: org.apache.parquet.Log错误的全部描述如下:java.util.ServiceConfigurationError: org.apache.spark.sql.sources.DataSourceRegister: Provider org.apache.spark.sql.execut...