报错处理
项目上线遇到的错误总结
luqin_
这个作者很懒,什么都没留下…
展开
-
list中filter过滤以及过滤掉异常数据(nan,空字符、空格、多空格、None)
现象:对list中进行不为空的数据过滤filter,如果多个空格的情况如要一一写出,会比较麻烦,这里介绍一种简单地方法原因:对list中进行不为空的数据过滤,filter()函数中需传入需过滤的数据,但是当有两个空格、三个空格…,甚至更多时,我们一一进行写出,就会很费时费力。 举例: 如有list:list1 =[1,5, 8,56,99, 'love',None,nan, 0.857,'',' ',' ',' ', ' ',' ']这时我们使用fliter单个过滤 :原创 2020-08-12 17:37:42 · 12049 阅读 · 0 评论 -
DataFrame中varchar字段类型过滤其中异常数据(空字符、空格、多个空格)
现象:对DataFrame中 varchar类型字段取不为空数据时,notnull()语法未剔除为空‘’,一个空格‘ ’,多个空格的情况,导致对数据进行计数或者其他操作会不准确原因:对DataFrame中varchar类型字段取不为空数据时,notnull()语法未剔除为空‘’,一个空格‘ ’,多个空格的情况 举例: 如有DataFrame:df = fruit0 None1 NaN2 3 4 5 a原创 2020-08-12 17:36:28 · 606 阅读 · 0 评论 -
数据重复(唯一索引的设置)
现象:表中含有自增ID字段时,脚本同一时间多次调用,导致写入重复数据原因: 首先,表的结构为自增ID表结构,只要传入写入的数据,数据就会被写入,所以在写入数据前是进行truncate操作,将数据进行删除,再进行写入。其次,由于脚本同一时间触发多次,执行速度相同,在写入数据时,就会同时写入相同的数据,导致数据重复。 举例:四川天府银行资产管理银行理财数据重复::当天调度同一时间触发多次,且表结构为自增ID结构,导致数据 重复写入。所以在脚本下次未执行之前,数据都是重复(错误)的。原创 2020-08-12 17:35:43 · 738 阅读 · 0 评论