scrapy下使用ip代理的方法

class RandomProxyMiddleware(object):
    #动态设置ip代理
    def process_request(self, request, spider):
        get_ip = GetIP()
        request.meta["proxy"] = get_ip.get_random_ip()

类似格式：

request.meta["proxy"] = 'http://103.102.237.129:53281'

如图，在middlewares 中设置好，然后在settings中开启该middlewares即可。前提是在独立脚本中已经写好获得ip的类：GetIP