python学习——python对list去重的各种方法

最新推荐文章于 2021-11-12 10:01:09 发布
最新推荐文章于 2021-11-12 10:01:09 发布
阅读量771 收藏
点赞数
分类专栏： python基础
原文链接：https://www.the5fire.com/python-remove-duplicates-in-list.html
版权

原文链接 ：https://www.the5fire.com/python-remove-duplicates-in-list.html

直观方法

最简单的思路就是：


  
  
  1. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      ids 
      
      = 
      
      [
      
      1
      
      ,
      
      2
      
      ,
      
      3
      
      ,
      
      3
      
      ,
      
      4
      
      ,
      
      2
      
      ,
      
      3
      
      ,
      
      4
      
      ,
      
      5
      
      ,
      
      6
      
      ,
      
      1
      
      ]
     
     
    
    
    
  2. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      news_ids 
      
      = 
      
      []
     
     
    
    
    
  3. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      for 
      
      id 
      
      in 
      
      ids
      
      :
     
     
    
    
    
  4. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
        
      
      if 
      
      id 
      
      not 
      
      in 
      
      news_ids
      
      :
     
     
    
    
    
  5. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
            
      
      news_ids
      
      .
      
      append
      
      (
      
      id
      
      )
     
     
    
    
    
  6. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  7. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      print 
      
      news_ids

这样也可行，但是看起来不够爽。

用set

另外一个解决方案就是用set：


  
  
  1. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      ids 
      
      = 
      
      [
      
      1
      
      ,
      
      4
      
      ,
      
      3
      
      ,
      
      3
      
      ,
      
      4
      
      ,
      
      2
      
      ,
      
      3
      
      ,
      
      4
      
      ,
      
      5
      
      ,
      
      6
      
      ,
      
      1
      
      ]
     
     
    
    
    
  2. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      ids 
      
      = 
      
      list
      
      (
      
      set
      
      (
      
      ids
      
      ))

这样的结果是没有保持原来的顺序。

按照索引再次排序

最后通过这种方式解决：


  
  
  1. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      ids 
      
      = 
      
      [
      
      1
      
      ,
      
      4
      
      ,
      
      3
      
      ,
      
      3
      
      ,
      
      4
      
      ,
      
      2
      
      ,
      
      3
      
      ,
      
      4
      
      ,
      
      5
      
      ,
      
      6
      
      ,
      
      1
      
      ]
     
     
    
    
    
  2. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      news_ids 
      
      = 
      
      list
      
      (
      
      set
      
      (
      
      ids
      
      ))
     
     
    
    
    
  3. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      news_ids
      
      .
      
      sort
      
      (
      
      key
      
      =
      
      ids
      
      .
      
      index
      
      )   
      
      # 感谢网友：@Magic 指正。

使用itertools.grouby

文章一开始就提到itertools.grouby, 如果不考虑列表顺序的话可用这个：


  
  
  1. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      ids 
      
      = 
      
      [
      
      1
      
      ,
      
      4
      
      ,
      
      3
      
      ,
      
      3
      
      ,
      
      4
      
      ,
      
      2
      
      ,
      
      3
      
      ,
      
      4
      
      ,
      
      5
      
      ,
      
      6
      
      ,
      
      1
      
      ]
     
     
    
    
    
  2. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      ids
      
      .
      
      sort
      
      ()
     
     
    
    
    
  3. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      it 
      
      = 
      
      itertools
      
      .
      
      groupby
      
      (
      
      ids
      
      )
     
     
    
    
    
  4. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  5. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      for 
      
      k
      
      , 
      
      g 
      
      in 
      
      it
      
      :
     
     
    
    
    
  6. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
        
      
      print 
      
      k

关于itertools.groupby的原理可以看这里：http://docs.python.org/2/library/itertools.html#itertools.groupby

网友补充：用reduce

网友reatlk留言给了另外的解决方案。我补充并解释到这里：


  
  
  1. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      In 
      
      [
      
      5
      
      ]: 
      
      ids 
      
      = 
      
      [
      
      1
      
      ,
      
      4
      
      ,
      
      3
      
      ,
      
      3
      
      ,
      
      4
      
      ,
      
      2
      
      ,
      
      3
      
      ,
      
      4
      
      ,
      
      5
      
      ,
      
      6
      
      ,
      
      1
      
      ]
     
     
    
    
    
  2. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  3. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      In 
      
      [
      
      6
      
      ]: 
      
      func 
      
      = 
      
      lambda 
      
      x
      
      ,
      
      y
      
      :
      
      x 
      
      if 
      
      y 
      
      in 
      
      x 
      
      else 
      
      x 
      
      + 
      
      [
      
      y
      
      ]
     
     
    
    
    
  4. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
     
     
     
    
    
    
  5. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      In 
      
      [
      
      7
      
      ]: 
      
      reduce
      
      (
      
      func
      
      , 
      
      [[], 
      
      ] 
      
      + 
      
      ids
      
      )
     
     
    
    
    
  6. 
    
    
    
     
     
    
    
    
    
    
    
    
     
     
    
      
      Out
      
      [
      
      7
      
      ]: 
      
      [
      
      1
      
      , 
      
      4
      
      , 
      
      3
      
      , 
      
      2
      
      , 
      
      5
      
      , 
      
      6
      
      ]

上面是我在ipython中运行的代码，其中的 lambda x,y:x if y in x else x + [y] 等价于 lambda x,y: y in x and x orx+[y] 。

思路其实就是先把ids变为[[], 1,4,3,......] ,然后在利用reduce的特性。reduce解释参看这里： http://docs.python.org/2/library/functions.html#reduce
_Oak_Tree_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python中对list去重的方法
墨茶Official 愿你在二次元有吃不完的草莓 饺子(ㄒoㄒ)
05-19 4874
lista = [‘1’,‘2’,‘1’,‘2’,‘3’,‘4’,‘2’] 第一种 print(set(lista)) 输出类型为 <class ‘set’> 输出结果为 {‘1’, ‘3’, ‘2’, ‘4’} 顺序不一致 且类型发生改变 第二种 print(list(set(lista))) 输出类型为 第四种 data=list(set(lista))...
Python中List的去重问题
08-24 7416
Python中的去重问题，这或许是个简单的问题。 比如一个
python中对list去重的多种方法
01-21
今天遇到一个问题，在同事随意的提示下，用了 itertools.groupby 这个函数。不过这个东西最终还是没用上。 问题就是对一个list中的新闻id进行去重，去重之后要保证顺序不变。 直观方法 最简单的思路就是： 复制代码 代码如下: ids = [1,2,3,3,4,2,3,4,5,6,1] news_ids = [] for id in ids:     if id not in news_ids:         news_ids.append(id) print news_ids 这样也可行，但是看起来不够爽。 用set 另外一个解决方案就是用set： 复制代码 代码如下: i
python之list去重
weixin_30423977的博客
09-02 621
问题就是对一个list中的新闻id进行去重，去重之后要保证顺序不变。 直观方法 最简单的思路就是： 复制代码代码如下: ids = [1,2,3,3,4,2,3,4,5,6,1]news_ids = []for id in ids: if id not in news_ids: news_ids.append(id) print news_ids ...
Python 去除列表中重复的元素
03-10 1793
比较容易记忆的是用内置的set l1 = ['b','c','d','b','c','a','a']l2 = list(set(l1))print l2 还有一种据说速度更快的，没测试过两者的速度差别 l1 = ['b','c','d','b','c','a','a']l2 = {}.fromkeys(l1)...
python列表去重方法
Room of Requirement
03-27 2107
原文链接：http://www.peterbe.com/plog/uniqifiers-benchmark Suppose you have a list in python that looks like this: ['a','b','a'] # or like this: [1,2,2,2,3,4,5,6,6,6,6] and you want to remove a
python List去重
weixin_45063703的博客
11-12 3275
前言 Python中对List中的元素进行去重操作 程序 用set方法 # 去重后与原列表长度比较 lst = [1, 3, 5, 3, 4, 4, 2, 9, 6, 7] set_lst = set(lst) # set会生成一个元素无序且不重复的可迭代对象，也就是我们常说的去重 if len(set_lst) == len(lst): print('列表里的元素互不重复！') else: print('列表里有重复的元素！') 用append的方式 # 把原列表中的元素添加
python学习——内置函数、数据结构、标准库的技巧（推荐）
09-19
### Python学习——内置函数、数据结构、标准库的技巧 #### Python内置函数的高效使用技巧 1. **使用`enumerate()`而不是`range()`进行迭代** - **背景**：在处理列表时，经常需要访问元素及其对应的索引。传统...
python去重,一个由dict组成的list的去重示例
09-19
### Python去重——一个由dict组成的list的去重方法 在Python编程中，经常会遇到需要对数据进行处理的情况，特别是当涉及到数据清洗时，去除重复数据是一项非常重要的任务。本篇文章将详细介绍如何对一个由字典...
Python对字符串实现去重操作的方法示例
09-21
通过对上述两种常见去重场景的分析与实践，可以看出Python提供了丰富的工具和方法来处理字符串。无论是简单的字符去重还是复杂的多层字符串处理，都可以通过合理的组合使用内置函数和第三方库来高效地解决问题。掌握...
python列表list保留顺序去重的实例
09-19
今天小编就为大家分享一篇python列表list保留顺序去重的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
python 对英文句子分词 ，去重，排序（csdn）————程序.pdf
12-03
本篇我们将探讨如何使用Python对英文句子进行分词、去重和排序，具体实现如下所述的函数。 首先，我们需要编写一个分词函数，该函数将英文句子切割成单词。在Python中，我们可以简单地通过遍历字符串并查找空格、...
零基础入门python3.7 ——基础知识总结（七）集合(set)
12-21
在Python 3.7中，集合（Set）是一种基础数据结构，它与数学中的集合概念相似...掌握集合的操作和特性对于提升Python编程技能至关重要，特别是对于初学者来说，理解并熟练运用集合是学习Python数据结构的一个重要步骤。
Python - list 去重的 4 种方法 - 进阶之路
lixiang5453的博客
09-25 778
开发中对数组、列表去重是非常常见的需求，对一个list中的id进行去重，有下面几种方法，前面两种方法不能保证顺序， 后面两种方法可以保持原来的顺序。 下面的代码都在Python3下测试通过， Python2下请自行测试 1. 使用set的特型，python的set和其他语言类似, 是一个无序不重复元素集 1 2 3 4 orgList=[1,0,3,7,7,5] #list()方法是把字符串str或元组转成数组 formatLi..
Python------python的list去重方法总结
COCOLI_BK的博客
09-23 297
# 对类型为list的列表去重,方法汇总 def uniqueA(params): return list(set(params)) if type(params) == type([]) else params def uniqueB(params): return {}.fromkeys(params).keys() if type(params) == type([]) else params def uniqueC(params): uniqueList = [] if type(para.
Python中list去重的方法
Michaelyq1229的博客
09-10 1989
1.for 循环去重 list1 = [3,2, 1, 3, 4, 7,1,5,2, 1,'测试1','测试2','测试1','测试3'] temp = [] for i in list1: if not i in temp: temp.append(i) print(temp) [3, 2, 1, 4, 7, 5, '测试1', '测试2', '测试3'] Process finished with exit code 0 2. 列表推导式去重 list1 = [3,2, 1
python list 去重
vbaspdelphi的专栏
12-28 1475
非常简单的python去重#!/usr/bin/env python a = ["a","b","c","a","b","c"] a = list(set(a))
Python中list去重
另一个自己
07-04 5639
list进行去重 在进行list去重之前，我们先来学习一下dict的key值和value值的遍历操作。 1、dict的key值遍历 定义一个字典，如下： dict1 = {1:"jack",2:"cindy",3:"ruby"} >>> for val in dict1.keys(): ... print val, ... 1 2 3 2、dict的value值遍历
java基于SpringBoot+vue 数字化农家乐管理平台系统源码 带毕业论文
最新发布
09-12
1、开发环境：SpringBoot框架；内含Mysql数据库；VUE技术；内含说明文档 2、需要项目部署的可以私信 3、项目代码都经过严格调试，代码没有任何bug！ 4、该资源包括项目的全部源码，下载可以直接使用！ 5、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。 6、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。
Python内置数据类型list, tuple, dict, set详解及区别
在Python编程中，四种内置数据类型——list, tuple, dict, 和 set——各自具有独特的特性和用途。本文将深入解析这些基本数据类型的区别以及它们的用法。 首先，list是Python中最常见的内置数据结构，它是一个有序...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值