python中对数组元素去重（一维+二维）

一.对一维数组去重

method1：使用 set() 函数对列表中的元素进行去重。（最快）时间复杂度O(n)

        set() 函数创建一个无序不重复元素集合，可以将列表转换为集合，然后再将集合转换回列表，从而实现去重。

示例：

my_list = [1, 2, 2, 3, 3, 4, 5, 5]
new_list = list(set(my_list))
print(new_list)
#结果
[1,2,3,4,5]

解释：set() 函数用于创建一个集合（set），它是一种无序且不重复的数据类型。set() 函数的去重原理就是利用了集合不允许有重复元素的特性。

        当我们将一个列表或其他可迭代对象传递给 set() 函数时，Python 会遍历可迭代对象中的每个元素，并将其添加到集合中。在添加元素的过程中，Python 会自动检查集合中是否已经存在相同的元素，如果存在，则不会将其重复添加。

        这个过程是通过哈希表（Hash Table）来实现的。Python 中的 set 集合是基于哈希表实现的，每个元素都会被映射到哈希表中的一个桶（bucket）中，集合中不允许有重复元素的原因就是哈希表中每个桶只能存储一个元素。

注意：集合是无序的，（按照不同映射方法映射到哈希表），去重后的列表元素顺序一般与原始列表中的顺序不同。

method2：使用列表推导式：遍历数组中的每个元素，将不重复的元素添加到新的列表中。时间复杂度O(n2)

my_list = [1, 2, 2, 3, 3, 4, 5, 5]
new_list = []
[new_list.append(i) for i in my_list if i not in new_list]
print(new_list)
#结果
[1,2,3,4,5]

method3：使用 sorted() 函数：将数组排序，然后遍历数组中的每个元素，将不重复的元素添加到新的列表中。时间复杂度O(nlogn)

my_list = [1, 2, 2, 3, 3, 4, 5, 5]
new_list = []
for i in sorted(my_list):
    if i not in new_list:
        new_list.append(i)
print(new_list)

#结果
[1, 2, 3, 4, 5]

method4：使用 NumPy 库：如果数组中的元素是数值类型，可以使用 NumPy 库中的 unique() 函数对数组进行去重。原理：先排序再遍历，时间复杂度O(nlogn)

import numpy as np
my_list = np.array([1, 2, 2, 3, 3, 4, 5, 5])
new_list = np.unique(my_list)
print(new_list)

二.对二维数组去重

method1：使用嵌套列表推导式和 set() 函数来实现

my_list = [[1, 2], [2, 3], [1, 2]]
new_list = list(set(tuple(x) for x in my_list))
new_list = [list(x) for x in new_list]
print(new_list)
#结果
[[1, 2], [2, 3]]

method2：对数组排序再遍历对比参照一维数组

method3：使用Numpy库

        如果二维数组中的元素是数值类型，可以使用 NumPy 库中的 unique() 函数对二维数组进行去重。需要设置 axis 参数来指定沿着哪个轴进行去重。

import numpy as np
my_list = np.array([[1, 2, 2], [3, 3, 4], [5, 5, 6]])
new_list = np.unique(my_list, axis=0)   #指定轴为行
prt(new_list)
#在 NumPy 中，二维数组可以被看作是两个轴（或维度）上的数字表格。第一个轴对应行，第二个轴#对应列，因此可以通过设置 axis 参数来指定在哪个维度上进行去重。