需求
对于使用sqlldr入库异常需要手动处理,由于数据量较大,错误日志会记录每一条数据入库失败的原因,所以直接查看日志,对于整体入库异常分析不够全面,所以编写脚本分析日志。
案列:
表prod_offer_merger_relation
数据文件数据总数:9653 入库数:9134 入库失败数:519 账期:20190325
步骤
1查看日志
wc -l INSERT_day_ord_n00_check_ods_ed_prod_offer_merger_relation_20190325_001.log
cat
图2
图2是需要简化的部分,包括了出错字段名,和错误原因,目的,同一字段报错合并,并且统计该字段报错总数。
2匹配目标日志
3格式化输出日志
a.统计报错字段及其总数
awk '{if(NR>=46&&NR<=1083)print $0}' INSERT_day_ord