python如何去除列表中的重复项_Python 中去除列表中重复元素的5种方法

(点击上方快速关注并设置为星标，一起学Python)

1、使用集合

Python中集合的元素是唯一的，具有去重的功能。使用集合与列表可以互转的特性，将列表转换为集合去重，再将集合转换为列表：

def func1(my_list):

'''

使用集合

:param my_list:

:return:

'''

return list(set(my_list))

2、使用字典的key

字典的key值是唯一的，所以可以先将列表转换成字典，这样key值就没有重复的元素，value值为None，然后再取出转换后的字典的key值即可：

def func2(my_list):

'''

使用字典的key

:param my_list:

:return:

'''

return list({}.fromkeys(my_list).keys())

3、使用遍历

遍历整个列表，筛选出无重复的元素，存在一个新的列表中：

def func3(my_list):

'''

遍历

:param my_list:

:return:

'''

new_list = []

for i in my_list:

if i not in new_list:

new_list.append(i)

return new_list

4、借助collections中的Counter

collections中的Counter可以用来统计词频，在统计完之后，获取结果中的key值即是无重复的元素：

from collections import Counter

def func4(my_list):

'''

借助collections中的Counter

:param my_list:

:return:

'''

return list(Counter(my_list).keys())

5、借助numpy中的unique

numpy中的unique可以直接用来去重：

import numpy as np

def func5(my_list):

'''

借助numpy中的unique

:param my_list:

:return:

'''

return list(np.unique(my_list))

测试代码如下：

if __name__ == '__main__':

my_list = [1, 3, 3, 2, 2, 2, 5, 4, 4, 6, 3, 5, 7, 7]

print(func1(my_list))

print(func2(my_list))

print(func3(my_list))

print(func4(my_list))

print(func5(my_list))

测试结果：

[1, 2, 3, 4, 5, 6, 7]

[1, 3, 2, 5, 4, 6, 7]

[1, 3, 2, 5, 4, 6, 7]

[1, 3, 2, 5, 4, 6, 7]

[1, 2, 3, 4, 5, 6, 7]

(完)

看完本文有收获？请转发分享给更多人

关注「Python那些事」，做全栈开发工程师

点「在看」的人都变好看了哦