发现问题
某公司培训系统被用户反馈时间筛选无法显示全部数据,该系统使用数据库为Oracle。
排查经历
首先登录系统模拟用户操作,复现Bug;对比发现数据确实显示不完整,浏览器调出控制台 -> 网络,得到请求接口,接着打开项目,全局搜索接口,检查SQL是否缺陷,一系列操作后发现接口无误,下一步,排查数据。
既然接口正常,那么可以考虑数据格式问题,接口接受的参数格式为:yyyy-mm,查询对应的数据库表,发现存在三种格式数据,分别是:yyyy-mm、yyyy-m、yyyy-mm-dd。而系统接口只能查询yyyy-mm形式的数据,系统的参数格式也是该标准格式,那多余的格式从何而来?
带着这个疑问,我重新登录线上系统,在数据表格上方发现除了新增按钮外,还有导出、导入等按钮,点开导入按钮,弹出了下拉列表,下载导入模板打开一看,参考的时间格式也是yyyy-mm。
那么可以确定了是用户在使用系统时未按照相应的数据规范要求,自行填入了yyyy-m、yyyy-mm-dd格式数据,导致后台系统筛选显示结果不完整,相应的解决方法之一就是修正后台数据格式。
修正格式
不符合格式要求的数据只是一小部分,首先把这份数据捞出来,使用正则查询:
-- 查询yyyy-m格式数据
select id, PLAN_MONTH
from ITS_TRAIN_BASE_PLAN
where regexp_like(PLAN_MONTH, '\d{4}-\d$');
这部分的数据需求在月份前补零,结合concat()和substr()函数可实现:
-- 对格式yyyy-m补零为yyyy-mm
update ITS_TRAIN_BASE_PLAN
set PLAN_MONTH = concat(concat(substr(PLAN_MONTH, 1,5), '0'), substr(PLAN_MONTH,6,1))
where regexp_like(PLAN_MONTH, '\d{4}-\d$');
接着处理yyyy-mm-dd格式的数据,用同样的手法将这部分数据捞出来:
-- 查询yyyy-mm-dd格式
select id, PLAN_MONTH
from ITS_TRAIN_BASE_PLAN
where regexp_like(PLAN_MONTH, '\d{4}-\d{2}-\d{2}$');
使用字符串截取substr()截取目标字符串:
--修改线上日期格式不正确数据 67rows
update ITS_TRAIN_BASE_PLAN
set PLAN_MONTH = substr(PLAN_MONTH, 1, 7)
where regexp_like(PLAN_MONTH, '\d{4}-\d{2}-\d{2}$');
执行完这些SQL语句后,点击提交事务,回到系统验证,此时问题得到解决。
温馨提示
substr(target, start, end) start从1开始。
反思改进
- 系统默认用户不可信任,应在开发阶段做容错处理。
- 强制要求用户按照指定格式上传数据,按要求操作系统。
心得收获
- 学习了regexp_like()、concat()、substr()函数。
- 获得了排查线上问题的一般套路和解决方式。