python3.7对应的lxml版本_python3.7.2爬虫lxml解决GB2312乱码的问题

看了很多文章都无法解决新版3.72爬虫使用LXML抓取中文网页乱码的问题。我结合我自己的一些粗浅的经验谈谈，以及很便捷的解决方法，亲测可用。

一、产生原因

python自带的是的编码是utf-8，而一些中文网站使用的是GBK或者GBK2312，两个编码不兼容。

二、一般的代码

以下的代码会产生乱码，原因就是网址中中文字符采用的是GBK2312的编码。

```

import requests

from lxml import html

etree=html.etree

url='https://www.51test.net/show/9218752.html' #需要爬的网址

page=requests.Session().get(url)

tree=html.fromstring(page.text)#有篇文章说，把text换成conten,确实能，但不能完全显示

result=tree.xpath('//div//p//text()') #需要获取的数据

result2=tree.xpath('//div[@class="content-txt"]//tr[last()]//a/@href')

#print(result)

with open('C:/Users/Administrator/Desktop/新建文本文档.txt','w',encoding="gbk") as f:#使用with open()新建对象f

for i in result:

print(i)