m0_37786014的博客

代码一：将爬取回来的所有数据，加上根据不同的值生成的hash值一起存入mongo，为了防止再次爬数据的时候重复提交数据，加入了存入数据库之前的数据验证（即存入数据库之前验证数据库中是否已经存在该hash值）#coding=utf-8import requests,pymongo,math,jsonimport sys,re,ConfigParser,randomimport numpy...

#coding=utf-8import requests,randomfrom bs4 import BeautifulSoupimport sys,datetime,timefrom xlrd import open_workbookfrom xlutils.copy import copyimport xlrd,xlwtreload(sys)sys.setdefaulten...

代码一（爬取所有图片）#coding=utf-8import requestsimport sys,osfrom bs4 import BeautifulSoupreload(sys)sys.setdefaultencoding('utf-8')class xiachufangsgspider: def __init__(self): self.url...

爬虫学习网站（转载）http://cuiqingcai.com/4352.html反爬虫学习网站（转载）http://m.blog.csdn.net/c406495762/article/details/72793480

设置随机IP：https://www.cnblogs.com/cnkai/p/7401526.html设置请求头：https://www.cnblogs.com/cnkai/p/7401343.html