Python 列表(list)去重的几种方式

法一：使用set()函数进行去重

set() 函数创建一个无序不重复元素集，可进行关系测试，删除重复数据，还可以计算交集、差集、并集等。

import pandas as pd
import numpy as np
import random 

temp=list()

for i in range(0,1000):
    temp.append(random.randint(0,100))

len(temp)#去重前长度

1000

len(set(temp))#去重后长度

101

法二：for循环创建去重列表

list_not_dup=list()
for i in temp :
    if i not in list_not_dup:
        list_not_dup.append(i)        

len(temp)#去重前长度

1000

len(list_not_dup)#去重后长度

101
法三：将列表转为DataFrame后用drop_duplicates()函数去重

temp=pd.DataFrame(temp)
temp.drop_duplicates()