pycharm中爬取网页使用decode无法更改编码格式的解决

问题描述

在使用爬虫爬取的中文网页在解码的时候出现中文乱码的情况代码如下：（爬取一个网页）

from urllib.request import urlopen
url = "http://www.baidu.com/"
resq = urlopen(url)
a=resq.read().decode("utf-8")
with open("baidu.html", mode ="w") as f:
    f.write(a)
    print("over!")

url=“”为爬取网页的路径

resq=urlopen（url）为访问url路径对应的网页

a=resq.read（）为读取该打开的网页，后面接的decode（“utf-8”）为编码格式为utf-8

后面一段的意义为打开名为“baidu.html”文件（没有的话自动创建）访问方式为写，并且以f代为该文件并将a对应读取的网页写入到该文件中

显然我们打开的网页也设置了对应的编码格式，那应该可以出现正确的中文格式，个结果还是出现

了中文乱码的情况如下：

 可以在橘色圈中看到该网页支持utf-8的中文编码格式，我们使用的也是utf-8的编码格式，可还是出现了乱码

解决办法

在写入文件的时候，文件也会有自己的编码格式，所以在导入文件的过程中也需要定义文件的编码格式

from urllib.request import urlopen
url = "http://www.baidu.com/"
resq = urlopen(url)
a=resq.read().decode("utf-8")
with open("baidu.html", mode ="w",encoding="utf-8") as f:
    f.write(a)
    print("over!")

 在打开文件时定义文件的编码格式为utf-8

这时我们运行再打开其保存的文件（mode=“w”会覆盖之前的内容）

就出现了正确的中文字符。