爬虫数据去重，实现增量式爬虫

1.使用数据库建立关键字段（一个或多个）建立索引进行去重
2.根据url地址进行去重
	2.1 url地址对应的数据不会变的情况，url地址能够唯一判别一个条数据的情况
	2.2 url存在redis中
	2.3 拿到url地址，判断url在redis的url的集合中是否存在
	2.4 存在，说明url已经被请求过，不再请求；不存在，url地址没有被请求过，请求，把该url存入redis的集合中
3.布隆过滤器
 	3.1 使用多个加密算法加密url地址，得到多个值
	3.2 往对应值的位置把结果设置为1
	3.3 新来一个url地址，一样通过加密算法生成多个值
	3.4 如果对应位置的值全为1，说明这个url