scrapy爬虫添加用户代理

第一步：在middlewares.py中增加一个类，取名：ProxyMiddleWare即代理中间件

该代理中间件中会从代理列表中随机选取一个代理。

class ProxyMiddleWare(object):  
    proxy_list=["http://58.87.89.234:31",
    此处省略一堆代理IP
    ]

def process_request(self,request,spider):
    ip = random.choice(self.proxy_list)
    request.meta['proxy'] = ip

第二步：settings中配置这个中间件

DOWNLOADER_MIDDLEWARES = {