列表去重的简单方法以及网址Url的正则

sth._list = list(set(sth._list))
很适用于在爬虫的列表中的去重

网址url正则：
**

(((http|ftp|https)?/)(([a-zA-Z0-9\.-]+\.[a-zA-Z]{2,6})|([0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}))(:[0-9]{1,4})*(/[a-zA-Z0-9\&%\./-~-]*)?)

**