python 爬虫 urls去重问题

使用最简单的set()数据结构去重，注意在使用set()之前，需要使用把字符型的url转为list型。

例如：

urls_set=set()
detail_url = 'http://www.xjmayan.com/home/est_detail?city=221&rid={}'.format(rid)
urls_set.update([detail_url])