python爬虫爬取百度存成html出现中文乱码情况

最新推荐文章于 2024-05-02 21:47:38 发布

Monica_dao

最新推荐文章于 2024-05-02 21:47:38 发布

阅读量3.1k

点赞数 8

文章标签： python 爬虫百度

本文链接：https://blog.csdn.net/Monica_dao/article/details/121171879

版权

本文介绍了在使用Python爬虫抓取网页并保存为HTML文件时遇到的中文乱码问题。通过对比两种不同的代码实现，展示了如何通过设置正确的编码方式避免乱码。第一种方式在写入HTML时可能出现乱码，而第二种方式通过二进制模式写入原始字节解决了该问题。

摘要由CSDN通过智能技术生成

写的爬虫代码爬取百度页面，存成txt格式的或者直接输出下面代码都是正常的，不会出现乱码情况，但是一旦存成html之后打开就出现中文乱码。
from urllib.request import urlopen
url = "http://www.baidu.com"
resp = urlopen(url)
with open("mybaidu.html",mode="w") as f:
    f.write(resp.read().decode("utf-8"))
print("over!")

解决办法：

代码改写成下面这种形式可以成功的加载出来没有乱码的html文件

#-*- coding: utf-8 -*-
from urllib.request import urlopen
url = "http://www.baidu.com"
resp = urlopen(url)
#print(resp.read().decode("utf-8"))
with open("mybaidu.html",mode="wb") as f:
    f.write(resp.read())
print("over!")