灵活使用requests爬虫(1)

首先，我们要认识requests和response

·1 requests是什么

        requests是一个Python第三方模块，它可以爬取HTTP/HTTPS网址。

        实例1 爬取网页

#!/usr/bin/python
# coding:gb18030
import requests
url = input("请输入要爬取的网址：")
file_name = input("请输入保存的文件：")
response = requests.get(url=url) # 爬取网址
with open(file_name,mode='w+') as f: # 打开文件
    f.write(response.content.decode()) # 保存文件
    print("保存成功!")

有时，我们会遇到UnicodeDecodeError,是因为response.content是Bytes类型，我们只需要把f.write(response.content.decode())中decode设置参数就可以了。例如：

#!/usr/bin/python
# coding:gb18030
import requests
url = input("请输入要爬取的网址：")
file_name = input("请输入保存的文件：")
response = requests.get(url=url) # 爬取网址
with open(file_name,mode='w+') as f: # 打开文件
    f.write(response.content.decode('gb18030')) # 保存文件
    print("保存成功!")

现在，我们的爬虫还有亿点点的bug,现在，就让我们来解决这些问题吧！

D:\Python311\python.exe F:/minecraft/main.py
浏览器： 361583
爬虫： 2313

Process finished with exit code 0

从这里可以看出来，我们爬取的并不是浏览器爬取的，那要怎么解决这个问题呢？

---

https://live.csdn.net/v/264629看视频

#!/usr/bin/python
# coding:gb18030
import requests
url = input("请输入要爬取的网址：")
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36 Edg/108.0.1462.54"}
file_name = input("请输入保存的文件：")
response = requests.get(url=url,headers=headers) # 爬取网址
with open(file_name,mode='w+') as f: # 打开文件
    f.write(response.content.decode('gb18030')) # 保存文件
    print("保存成功!")

以上就是今天的内容,拜拜！