python selenium webdriver 返回中文，显示，存储文件

win10, python3.6.5, selenium3.141.0, chrome 83.0.4103.61

说明:

参考了很多帖子寻找线索，谢谢各位。

现象:

访问wenku页面，看返回内容时，中文显示有问题(字符串格式显示，gbk各种编码错误；字节格式显示时，\x8e类代替汉字)，储存到文件时有问题(中文显示不正常)。

(学习用。后续再多次访问时，会按照人工访问的时间间隔访问）

办法:

概括: 显示时，用 io 更改输出设定；

写入文件时，用bytes 格式写入文件(再电脑文本类软件打开时中文显示正常)。以字符串格式写入文件，暂没办法搞定中文。

 

参考:

from selenium import webdriver
import time
import sys
import io

#更改系统显示设置
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')

#测试网页
url='https://wk.baidu.com/view/0caacb1e964bcf84b9d57be8?pcf=2'

#尝试增加表头(未完成）
options=webdriver.ChromeOptions()
options.add_argument('User-Agent="Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Mobile Safari/537.36" ')
driver1=webdriver.Chrome(options=options)

#访问网页
driver1.get(url)

#返回内容
pagesource=driver1.page_source

#显示内容
print('pagesource:', pagesource, flush=True)

#存入文件
with open('pagesource.txt', 'wb') as f:
    f.write(pagesource.encode('utf8'))