【Python Tips】列表去重——列表list数据预处理：嵌套列表去重

原创

已于 2024-11-13 15:13:01 修改 · 971 阅读

CC 4.0 BY-SA版权

文章标签：

于 2024-10-29 17:35:02 首次发布

一、引言

在做数据预处理时，有时得到的列表数据格式中，可能存在人为误操作或其他原因导致添加重复元素。因此，本文记录几种常用的列表去重python操作代码，并且区分列表内的元素类型

将列表转为集合就可以完成去重了，因为集合数据不允许出现重复元素。

（注意：但是这种方式会打乱原列表顺序，因为集合是无序的，这种方法适合对顺序不关心的数据）

list = [1, 2, 2, 3, 4, 4, 5]
unique_list = list(set(list))
print(unique_list)  # 输出：[1, 2, 3, 4, 5]

使用 dict.fromkeys（list）的方式，可以在保留原数据列表顺序的基础上去重。

list = [1, 2, 2, 3, 4, 4, 5]
unique_list = list(dict.fromkeys(list))
print(unique_list)  # 输出：[1, 2, 3, 4, 5]

200万优质内容无限畅学