Python对list中元素去重的方法(包括原序去重)

笔者小白在日常中遇到了需要对list列表中的元素去重的情况,根据相关资料整理,现将python中的一些方法归纳如下:

1、遍历

先建立一个新的空列表,通过遍历原来的列表,再利用逻辑关系not in 来去重。
这样可以做出来,但是过程不够简单。不过此方法保证了列表的顺序性。

li=[1,2,3,4,5,1,2,3]
new_li=[]
for i in li:
    if i not in new_li:
    new_li.append(i)
print(new_li)

2、利用set

将列表转化为集合再转化为列表,利用集合的自动去重功能。简单快速。缺点是:使用set方法无法保证去重后的顺序。

li=[1,2,3,4,5,1,2,3]
li=list(set(li))
print(li)

3、利用set+索引

可以通过列表中索引(index)的方法保证去重后的顺序不变。

li=[1,2,3,4,5,1,2,3]
new_li=list(set(li))
new_li.sort(key=li.index)
print(new_li)

4、使用keys()

但是结果不能保持原来的顺序

li = [1,0,3,7,7,5]
formatList = list({}.fromkeys(li).keys())
print (formatList)

5、使用itertools.grouby

import itertools
ids = [1,4,3,3,4,2,3,4,5,6,1]
ids.sort()
it = itertools.groupby(ids)
for k, g in it:
    print k

关于的itertools.groupby的原理介绍参考1itertools.groupby的原理参考2

6、用reduce

思路其实就是先把ids变为[[], 1,4,3,……] ,然后在利用reduce的特性。这里的去重不会改变原来的顺序。

ids = [1,4,3,3,4,2,3,4,5,6,1]
func = lambda x,y:x if y in x else x + [y]
reduce(func, [[], ] + ids)

Out: [1, 4, 3, 2, 5, 6]

关于lambda的介绍,关于reduce的参考1参考2

参考资料:
1、https://www.cnblogs.com/tianyiliang/p/7845932.html 2018.7.24
2、https://www.jb51.net/article/129759.htm 2018.7.24
3、https://blog.csdn.net/hugo2052/article/details/78494411 2018.7.24
4、https://www.cnblogs.com/nyist-xsk/p/7473236.html 2018.7.24

  • 42
    点赞
  • 90
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
可以使用多种方法PythonList元素进行去重操作。一种常见的方法是使用set方法,将List转换为一个元素无序且不重复的set对象,然后比较set对象的长度和原List的长度来判断是否有重复元素。另一种方法是利用append的方式,将原List元素添加到一个新的List,确保新List不存在重复的元素,然后比较两个List的长度来判断是否有重复元素。还可以使用fromkeys的方法,创建一个字典,由于字典的键会自动去重,可以比较字典和原List的长度来判断是否有重复元素。另外,还可以使用Counter来对List元素出现的次数进行统计,从而判断是否有重复元素123 #### 引用[.reference_title] - *1* [python List去重](https://blog.csdn.net/weixin_45063703/article/details/121281921)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] - *2* *3* [python list去重的两种方法](https://blog.csdn.net/sinat_38682860/article/details/118608763)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值