在爬取文件的时候,有时候会根据要求生成需要的文件,以下代码强制转换文件格式,但是打开文件时可能出现乱码情况:
with open(filePath + '#例如.txt', "wb") as f:
for chunk in req.iter_content(chunk_size=1024): # 每次加载1024字节
f.write(chunk)
f.close()
但是如果要求存储原文件格式,需要的代码如下:
from urllib.parse import urlparse
#在想要查询的网站下面添加以下代码
k = urlparse(fileUrl)
file_path = k.path
file_name = os.path.basename(k.path)
_,file_suffix = os.path.splitext(file_name)
with open(filePath + file_suffix, "wb") as f:
for chunk in req.iter_content(chunk_size=1024): # 每次加载1024字节
f.write(chunk)
f.close()