1.禁止Cookie
部分网站会通过用户的Cookie信息对用户进行识别与分析,所以要防止目标网站识别我们的会话信息。
在Scrapy中,我们可以在爬虫项目的setting.py文件中进行设置
将setting.py中的下面两行代码里的
COOKIES_ENABLED = False 的注释去掉即可。
2.设置下载延时
部分网站通过分析我们的爬取频率对爬虫进行禁止或限制,所以我们需要控制爬取时间间隔。
在Scrapy中同样是在setting.py文件中进行设置。
在这里,我设置爬取间隔为 0.7。
3.设置用户代理池
在setting.py中添加用户代理池
添加好用户代理池之后,还需要创建下载中间件。在C:/Mycrawl/Mycrawl下新建Myuseragent.py文件,在里面编辑
import random from Mycrawl.settings import UAPOOL from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware class MyUAmid(UserAgentMiddleware): def __init__(self, user_agent=''): self.user_agent = user_agent def process_request(self, request, spider): Myua = random.choice(UAPOOL) print('当前使用的User-Agent是%s'%Myua) request.headers.setdefault('User-Agent', Myua)
然后在settings.py中将该文件设置为爬虫项目的下载中间件,
# Enable or disable downloader middlewares # See https://doc.scrapy.org/en/latest/topics/downloader-middleware.html DOWNLOADER_MIDDLEWARES = { #'Mycrawl.middlewares.MycrawlDownloaderMiddleware': 543, 'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware':2, 'Mycrawl.MyUserAgent.MyUAmid':1, }
其中的 DOWNLODER_MIDDLEWARES 就是下载中间件的意思。
设置好之后就可以运行爬虫文件了。
4.设置IP池