python爬虫之requests库的用法（超全面的爬取网页案例）

requests库

利用pip安装:
pip install requests

基本请求

req = requests.get("https://www.baidu.com/")
req = requests.post("https://www.baidu.com/")
req = requests.put("https://www.baidu.com/")
req = requests.delete("https://www.baidu.com/")
req = requests.head("https://www.baidu.com/")
req = requests.options("https://www.baidu.com/")

1.get请求

参数是字典，我们可以传递json类型的参数：

import requests
from fake_useragent import UserAgent#请求头部库
headers = {
   "User-Agent":UserAgent().random}#获取一个随机的请求头
url = "https://www.baidu.com/s"#网址
params={
   
    "wd":"豆瓣"   #网址的后缀
}

requests.get(url,headers=headers,params=params)

返回了状态码，所以我们要想获取内容，需要将其转成text：

#get请求

headers