sqoop导出到mysql数据不一致_Sqoop export 数据表字段不一致问题

今天从hdfs中导数据到mysql，遇到如下错误。

com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for column 'is_removed' at row 1 at

最终发现是因为hdfs中数据表字段是46个，而本地数据表字段是48个，比hdfs中多了两个，可能导致字段映射错误，把别的字段误解析成is_removed字段了(is_removed类型是1个长度的char)。

结论就是要保证导入的mysql表字段和hdfs中的字段一致。

后来经过深入研究，发现要想正确从hive导数据到mysql，要保证如下两个条件

1、hive中的表字段数目和目标mysql表字段数目一致

2、 hive中的表字段和目标mysql表字段名称对齐，即顺序一致

原因如下，查看执行sqoop执行时产生的java代码：

image.png

sqoop执行map时是将hive数据文件的一行按顺序解析成了一个String List，然后按顺序解析为相应的字段，主要，这里是按索引解析为对应字段，而不是按字段名称映射。

然后解析完成后，按照下面的方式组装map插入数据库。

img.png

那么，重点来了，程