使用python3
请求头headers:user-agent、代理ip,这些放在一个工程项目里,有的爬虫是需要中间件的或者根据反爬添加相应的条件,那这样的情况下怎么办?
1.中间件处理默认带上请求头,不带启用ip代理功能
spiders文件夹下的爬虫类添加属性
中间件处理
这样不管爬虫那边有没有添加属性,middlewares里就是会默认
2.有些情况下请求头会带上cookie、referer,这样的话,只需要user_agent = False,这样在爬虫里面编写自己需要的headers
那么多的爬虫,每一个可能数据格式、存数据库不同,怎么区分它们呢?
1.在items里面做文章
每一个爬虫的数据可能都要创建items类,我们把公用的部分提出来,写到基类里面去!
2.根据items判断pipelines入库
一定是items项目类,不能使用基类!