爬虫问题总结1

1、乱码问题（解码）：

使用open函数将爬虫爬取的html时，在控制台下是乱码（要把字节转换成字符串）。

 

解码方式具体看控制台下面（utf 或gbk）。

 

 输出的时候加上decode("utf-8")即可便正常。

 

2、HTML文件空白问题：

使用open函数将爬虫爬取的html时，如果前面写上：print(resp.read().decode("utf-8"))，那么后面生成的html文件里面将是空白的。把它注释掉即可。及写入的时候直接写入即可，不要在前面进行其他操作。

 去掉之后:

 html文件里就有东西了；

3、使用open函数将爬虫爬取的html写入文件，有时候在控制台不会乱码，但是写入文件的html中的中文是乱码的，如上图。

把代码改成如下即可，即再打开文件的时候就解码：

with open("mybaidu.html","w",encoding = "utf-8")as f:

 

 完整代码如下：

from urllib.request import urlopen

url = "http://www.baidu.com"
resp = urlopen(url)

#print(resp.read())#不加上解密方式会生成乱码

#print(resp.read().decode("utf-8"))#加上之后后面的html文件里面将会是空白的
with open(mybaidu.html,"w",encoding="utf-8")as f:#如果不加上：encoding="utf-8"，生成的文件是乱码
    f.write(resp.read().decode("utf-8"))