公司系统升级,需要将老系统的历史数据迁移到新系统的数据库中。因为数据量不是特别大(10w条记录不到),数据库都是Oracle数据库,为了方便直接采取了SQL方式将老系统的数据插入到新系统的数据库。
代码在执行过程中报错,报错内容如下:
看到这个报错第一反应就确定是日期转换问题。于是,我开始检查数据。初步检查保持日期时间的字段数据并没有问题,格式都是YYYY-MM-DD形式,可是为什么会报这个错呢?只能细致检查了!
1、把整段查询SQL拿出来,执行并显示所有记录,确定代码出现的大概位置。记录在显示到1w多条记录时报错,由此确定是查询SQL语句的问题。
2、在SQL中增加rownum伪列,在条件中限定报错时的记录数区间,同时逐个注释日期时间字段以确定具体是哪个或哪几个字段的数据可能有问题。
3、在确定字段和记录行数后,检查字段内容,分析报错原因。
报错原因:老系统的设计不严谨,后台表结构中保存日期和时间字段的数据类型为VARCHAR2,而前台对于字段格式又没有做到很好的控制,导致后台表保存的数据存在多种格式,如YYYY-MM-DD、YYYY-MM-DD HH:MM-DD等。
处理结果:对这些字段的数据进行处理,统一格式。如通过TRIM截取字段两边的空格,通过SUBSTR只截取前面的日期等。