前提概要
最近写业务代码时遇到一个列表的坑,在此记录一下。
需求
现在有一个普通的rule列表:
rule = [["ID",">",0]]
在其他地方经过计算得到一个id_lst的列表:
id_lst = [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]
使用小范围的数模拟一下真实的业务场景:我需要再在前面的rule的基础上新加另外一个规则列表,但是id_lst的长度不能超过5。
还是看最终拼接的效果吧:
ret = [
[['ID', '>', 0], ['ID', 'in', [1, 2, 3, 4, 5]]],
[['ID', '>', 0], ['ID', 'in', [6, 7, 8, 9, 10]]],
[['ID', '>', 0], ['ID', 'in', [11, 12, 13, 14, 15]]],
[['ID', '>', 0], ['ID', 'in', [16, 17, 18, 19,20]]]
]
也就是说,我需要吧id_lst中的数按照5位基数进行分割,放在新的规则列表中,然后与之前的rule组成新的规则...以此类推,把“新组装成的规则”再放到新的列表ret中。
—— 抛开业务场景,这个问题其实可以模拟成一个小问题:条件是rule与id_lst,需要得到ret那种样式的结果。
错误的解决方法
看到这种问题,那肯定得遍历呗,所以第一版年轻的程序诞生了:
#-*- coding:utf-8 -*-
rule = [["ID",">",0]]
id_lst= [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]
append_lst=[]
ret=[]for i in range(len(id_lst)//5 + 1):
ll= id_lst[i*5:(i+1)*5]#print("ll:",ll)
append_rule =[]if len(ll) !=0:
append_rule= ["ID","in",ll]
append_lst.append(append_rule)print("append_lst:",append_lst)#[['ID', 'in', [1, 2, 3, 4, 5]], ['ID', 'in', [6, 7, 8, 9, 10]], ['ID', 'in', [11, 12, 13, 14, 15]], ['ID', 'in', [16, 17, 18, 19, 20]], []]
if len(append_lst) == 1:
rule+=append_lst
ret.append(rule)else:for i inappend_lst:#排除空值的干扰
if i ==[]:
append_lst.pop(append_lst.index(i))continuerule.append(i)
ret.append(rule)
rule.pop()print(">>>>>ret:",ret)#[[['ID', '>', 0]], [['ID', '>', 0]], [['ID', '>', 0]], [['ID', '>', 0]]]
结果竟然不是自己想的辣样!
当时我还以为是for循环遍历的“姿势”不对,于是乎试图使用“堆栈”的方式解决:
#-*- coding:utf-8 -*-
rule = [["ID",">",0]]
id_lst= [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]
append_lst=[]
ret=[]for i in range(len(id_lst)//5 + 1):
ll= id_lst[i*5:(i+1)*5]#print("ll:",ll)
append_rule =[]if len(ll) !=0:
append_rule= ["ID","in",ll]
append_lst.append(append_rule)print("append_lst:",append_lst)#[['ID', 'in', [1, 2, 3, 4, 5]], ['ID', 'in', [6, 7, 8, 9, 10]], ['ID', 'in', [11, 12, 13, 14, 15]], ['ID', 'in', [16, 17, 18, 19, 20]], []]
# 堆栈的方式解决
whileappend_lst:
a_l=append_lst.pop(0)#排除空列表做一下判断
ifa_l:
rule.append(a_l)
ret.append(rule)
rule.pop()print(">>>>>ret:",ret)#[[['ID', '>', 0]], [['ID', '>', 0]], [['ID', '>', 0]], [['ID', '>', 0]]]
问题分析
其实细看下来,用for循环遍历与用堆栈的方式解决的思路是一样的:遍历的每一次把append_lst中的每一个列表元素加到rule列表中,然后把新得到的这个rule列表加在ret中!最后因为我们要“重复利用rule列表,”为了防止“重复”数据,将之前append到rule列表中的元素pop出去,然后再进行新一轮的操作。
于是乎自己用Pycharm来debug了一下,终于发现了问题:原来每一次append到ret列表中的那个rule列表,跟原来的rule列表其实是同一个列表!(惊不惊喜,意不意外0-0)—— ret.append(rule)这个操作应该只是将rule列表的引用传递进去了,最后那个rule.pop()操作改变了rule本身的值,同样也改变了ret中之前append进去的rule!
下面是我debug的过程,大家仔细看倒数第二行ret的值的变化过程:
问题解决
既然放在ret中的rule列表与原rule列表是一样的,那么可以使用deepcopy将临时生成的列表放在ret中,这样在rule.pop()后就不会改变之前append到ret中的那个列表了:
#-*- coding:utf-8 -*-
from copy importdeepcopy
rule= [["ID",">",0]]
id_lst= [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20]
append_lst=[]
ret=[]for i in range(len(id_lst)//5 + 1):
ll= id_lst[i*5:(i+1)*5]#print("ll:",ll)
append_rule =[]if len(ll) !=0:
append_rule= ["ID","in",ll]
append_lst.append(append_rule)print("append_lst:",append_lst)#[['ID', 'in', [1, 2, 3, 4, 5]], ['ID', 'in', [6, 7, 8, 9, 10]], ['ID', 'in', [11, 12, 13, 14, 15]], ['ID', 'in', [16, 17, 18, 19]]]
# append_lst等于1不用切割,这里为了后期容易维护我把不分割与分割的情况分开写了
if len(append_lst) == 1:
rule+=append_lst
ret.append(rule)else:for i inappend_lst:if i ==[]:
append_lst.pop(append_lst.index(i))continuerule.append(i)
current_lst=deepcopy(rule)
ret.append(current_lst)
rule.pop()print(">>>>>ret:",ret)#[[['ID', '>', 0], ['ID', 'in', [1, 2, 3, 4, 5]]], [['ID', '>', 0], ['ID', 'in', [6, 7, 8, 9, 10]]], [['ID', '>', 0], ['ID', 'in', [11, 12, 13, 14, 15]]], [['ID', '>', 0], ['ID', 'in', [16, 17, 18, 19, 20]]]]
for i inret:print(i)"""[['ID', '>', 0], ['ID', 'in', [1, 2, 3, 4, 5]]]
[['ID', '>', 0], ['ID', 'in', [6, 7, 8, 9, 10]]]
[['ID', '>', 0], ['ID', 'in', [11, 12, 13, 14, 15]]]
[['ID', '>', 0], ['ID', 'in', [16, 17, 18, 19, 20]]]"""
存在问题
关于Python中赋值与拷贝问题我之前总结过一篇博客:
也许经验丰富的你从上面的代码中也看出了问题:如果实际中id_lst中的数据非常大(几十万甚至更多),而且我们以万为基数进行分割的话,deepcopy出来的这个current_lst会占用比较大的空间!
如果聪明的你有更好的解决方式的话,欢迎在下方留言,一起交流探讨。