爬虫（requests）爬取数据爬到一半时乱码了的解决办法

        今天写了一个爬虫采集一些数据，刚开始一切都很好，后来采集到3万条左右的时候出现了乱码，不仅是保存到CSV文件中是乱码，就连打印到控制台窗口也是乱码，这时怎么一回事？

       初步将问题定在网页编码可能发生了改动，一开始我请求数据是这样写的：

html = requests.get(detailUrl, headers=headers, timeout = 5).text
mytree = lxml.etree.HTML(html)

       这样在一开始的时候控制台上和CSV文件中都没有出现乱码，但是后面在某一页数据之后就开始乱码了，然后我就做了这样的修改：

html = requests.get(detailUrl, headers=headers, timeout = 5)
html.encoding = 'utf-8'
mytree = lxml.etree.HTML(html.text)

        将请求到的数据强制用” utf-8 “ 进行编码，这样修改过后控制台输出的信息没有乱码，但是CSV中间中还是乱码，后来我又对CSV文件保存数据的方式进行了修改，具体修改方式参见我的上一篇博客，至此，乱码问题就被解决了。