有关响应头,请求头,状态码等内容可以跳转到:
https://blog.csdn.net/m0_74142238/article/details/131147327?spm=1001.2014.3001.5502
import requests
head = {"User-Agent": "Mozilla/5.0(Windows NT 10.0;Win64;x64)"} # 伪装成正常浏览器,原来的网站可以根据User-Agent来识别
# 用代码请求会自动生成:{"User-Agent":"python-requests/2.22.0"}
response = requests.get("http://books.toscrape.com") # 需要手动写协议才能得到完整URL(http://或者https://),这是专门给练习爬虫的网站
print(response) # 得到的结果是response实例,代表着服务器发回给我们的响应
print(response.status_code) # http状态码
# 用状态码判断服务是否响应
if response.status_code >= 200 and response.status_code < 400:
... # 获取响应内容
elif response.status_code >= 400 and response.status_code < 500:
print("请求失败,客户端错误")
elif response.status_code >= 500:
print("请求失败,服务器错误")
# 还可以用response.ok属性判断
if response.ok:
...
else:
print("请求失败")
print(response.text) #响应体里面服务器返回的内容会以字符串的形式响应,是网页的源码
得到如下结果:
<Response [200]>
200
还有页面的html的源码