使用requests爬取带有证书验证的大学首页

首先先进行引入所需要的库

import requests
import time

其中引入time是为了设置一个运行延迟

然后进行写入我们需要用到的资源

url="https://www.bucm.edu.cn/"
headers={
    "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.76"
}
wd = {'wd':'中国'}

其中url是所在网页的链接【这个位置使用了北京中医药大学的网站首页】，获取方式是在搜索框中复制

headers获取是在 开发人员工具【ctrl+shift+i也可以F12进行打开】，然后找到网络在其中进行复制

wd是一个向链接当中追加属性内容的参数

然后是操作部分

time.sleep(15)
r=requests.get(url,headers=headers,params=wd,verify=False)
r.encoding=r.apparent_encoding
r.raise_for_status()
p= r.text
print(p)

 其中verify是设置进行验证的一个参数，如果是true就会对证书进行验证