去重实现的基本原理 根据给定的判断依据和给定的去重容器,将原始数据逐一进行判断,判断去重容器中是否有该数据。如果没有那就把该数据对应的判断依据添加去重容器中,同时标记该数据是不重复数据;如果有就不添加,同时标记该数据是重复数据。 判断依据(原始数据、原始数据特征值) 去重容器(存储判断数据) set() 根据原始数据进行去重判断 根据原始数据的特征值进行去重判断 临时去重容器与持久化去重容器 临时去重容器指如利用list、set等编程语言的数据结构存储去