爬虫中遭遇到爬取数据重复的问题
苦于没有很好的去重工具
搜索研究后发现可以用此方法解决
将列表转化为字典->字典中的数据是唯一的->再转化成为列表
成功解决
很简单的实现列表中删除重复数据的任务
代码如下
def DelRepeatData(lists):
lists = list(set(lists))
return lists
爬虫中遭遇到爬取数据重复的问题
苦于没有很好的去重工具
搜索研究后发现可以用此方法解决
将列表转化为字典->字典中的数据是唯一的->再转化成为列表
成功解决
很简单的实现列表中删除重复数据的任务
代码如下
def DelRepeatData(lists):
lists = list(set(lists))
return lists