scrapy 解决Ignoring link的异常

scrapy　默认开启一个爬虫中间件　scrapy.spidermiddlewares.urllength.UrlLengthMiddleware
用于判断url长度是否大于某一值，当url 长度大于某值的时候，scrapy 会忽略该请求，在调试过程中会抛出忽略警告，解决方法是，在settings.py模块中
SPIDER_MIDDLEWARES = {
‘scrapy.spidermiddlewares.urllength.UrlLengthMiddleware’: None
}