2019.08.12

解决一个恶心的问题。

spark程序在从hdfs中读parquet文件写入mysql中报错了。

出现了该错误

java.sql.BatchUpdateException: Incorrect integer value: 'LHGJ11835K8000155' for column 'id' at row 1

输入路径为

/user/houzhq/test/AD/charge_output_root/20190406/anomaly_charge/

此目录下级目录如下

-rw-r--r--   2 houzhq houzhq          0 2019-08-09 15:15 /user/houzhq/test/AD/charge_output_root/20190406/anomaly_charge/_SUCCESS
drwxr-xr-x   - houzhq houzhq          0 2019-08-09 15:15 /user/houzhq/test/AD/charge_output_root/20190406/anomaly_charge/id=LHGJ11830K8000158
id文件夹下有parquet文件

 

后查明。我在spark程序中读取parquet文件的时候没有select列名，正巧输入路径下级目录为id=***，mysql表第一个字段为自增id

所以出现了此错误。