python.scrapy爬虫随机请求头设置

1、准备好一定数量的请求头

2、更改setting.py中的设置

3、编写中间件

4、验证结果

1、准备好一定数量的请求头，网上很多，自行搜索

"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1",
"User-Agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"User-Agent:Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"User-Agent:Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1"

2、更改setting.py中的设置，注释掉ROBOTSTXT_OBEY = True，将user-agent改为字典形式，启用下载中间件，后面的数字是权值

3、编写中间件middlewares.py，将原先的删除，重写编写，导入random库和导入settings中的uesr-agent的配置

4、编写parse验证结果scrapy crawl getip --nolog（nolog是去掉日志信息）