在scrapy简单使用代理池和随机的User-Agent

在scrapy下载中间键middlewares.py中，写下如下代码，然后在设置文件settings.py设置

DOWNLOADER_MIDDLEWARES = {
   # 'testip.middlewares.TestipDownloaderMiddleware': 543,
    'testip.middlewares.RandomUserAgent': 10,
    'testip.middlewares.RandomProxy': 100
}

如何我们还就只需要在setting中添加代理ip和User-Agent

具体格式如下：

PROXIES = [
{
 'ip_port': '121.13.29.28:8888','user_passwd': '1'},
{
 'ip_port': '166.111.80.162:3128','user_passwd': '1'},
{
 'ip_port': '119.27.177.169:80','user_passwd': '1'},
{
 'ip_port': '121.58.17.52:80','user_passwd': '1'},
{
 'ip_port': '121.58.17.5