scrapy编码问题--终极版

爬虫遇到编码不对的情况是家常便饭，普通情况我就不一一说明了，一般常用

.encode('utf-8')
.decode('utf-8')

编码-解码两个方法，多试几次总能解决。

当遇上一种情况，不管怎么调都无法转换正常编码的情况下，是由于在请求时需要直接对 response 进行编码转换。

即对应 requests 的

r = requests(url)
r.encoding = 'utf-8'

由于scrapy的response中并没有编码相关的参数可以调，所以我们需要运用另一种方式。

scrapy 的 http 下有3个响应子类，分别是

from scrapy.http import TextResponse, HtmlResponse, XmlResponse

分别对应不同的响应类型。

        return super(TextResponse, self).follow(url, callback,
            method=method,
            headers=headers,
            body=body,
            cookies=cookies,
            meta=meta,
            encoding=encoding,
            priority=priority,
            dont_filter=dont_filter,
            errback=errback
        )

可以看到，我们传入的参数中有url, body, meta等response中的值，还多了encoding，我们就可以利用这个来转换编码了：

只用在parse方法中对response进行子类化即可：

response = http.TextResponse(url=response.url, body=response.body, encoding='utf-8')

相应的如果需求html, xml的转换只需对HtmlResponse, XmlResponse进行同样的操作即可。