解决一个恶心的问题。
spark程序在从hdfs中读parquet文件写入mysql中报错了。
出现了该错误
java.sql.BatchUpdateException: Incorrect integer value: 'LHGJ11835K8000155' for column 'id' at row 1
输入路径为
/user/houzhq/test/AD/charge_output_root/20190406/anomaly_charge/
此目录下级目录如下
-rw-r--r-- 2 houzhq houzhq 0 2019-08-09 15:15 /user/houzhq/test/AD/charge_output_root/20190406/anomaly_charge/_SUCCESS
drwxr-xr-x - houzhq houzhq 0 2019-08-09 15:15 /user/houzhq/test/AD/charge_output_root/20190406/anomaly_charge/id=LHGJ11830K8000158
id文件夹下有parquet文件
后查明。我在spark程序中读取parquet文件的时候没有select列名,正巧输入路径下级目录为id=***,mysql表第一个字段为自增id
所以出现了此错误。