踩坑集合-Cannot inspect org.apache.hadoop.io.LongWritable
踩坑集合
【问题】用sparksql查询时出现这个错误:
Cannot inspect org.apache.hadoop.io.LongWritable
【原因】
这是我平时一个用excel上传导hdfs建表的操作,由于没有hadoop权限,因此操作步骤如下:
excel→pandas数据框→spark数据框→写入hdfs
问题在于spark数据框里的数据类型和在hdfs建表的数据类型不一样,将spark数据框的数据类型改成与hdfs保持一致即可(可以统一用string,保留精度又不会错)
【解决】
df
原创
2020-12-18 18:56:17 ·
2559 阅读 ·
0 评论