爬虫 resquests模块与get请求和post请求

1.requests模块的使用

实现抓取百度首页数据包的响应数据。

根据头部常规信息可得知，百度首页数据包的请求url为https://www.baidu.com/，请求方式为get。

抓取百度首页数据包响应

import requests  # 导入模块

url = "https://www.baidu.com/"  # 明确目标url
#  因为是get请求方式，所以是requests.get()，如果是post请求，那就是requests.post()
#  以下两种方式都是可以的，在源码中get方法第一位形参就是url，所以不用键值对传参也可以

# response = requests.get(url)
response = requests.get(url=url)  # 此时response是一个响应对象
print(response)  # 打印结果为 <Response [200]>， 200是状态码，说明成功响应的意思

response的常用属性：

• • 查看响应内容，response.text 字符串数据
  • 查看响应内容，response.content返回的字节流数据 二进制数据
  • 查看完整url地址 response.url
  • 查看响应头部字符编码 response.encoding
  • 查看响应码 response.status_code
  • 查看响应头 response.headers
  • 查看请求头 response.request.headers

        如果直接使用response.text获取响应数据，那么结果会乱码，需要先指定响应的编码格式为UTF-8（utf-8、utf8）即可。

        还可以使用第二种方式，response.content获取进制格式后.decode()解码，.decode()方法默认以UTF-8编码方式解码，该方法接收一个参数，如果是gbk编码，就可以写成.decode('gkb')。

        两种方法都可以实现相同效果，各位自选一种方式使用即可，这就是直接对百度发起请求获取到的响应数据。

2.携带请求参数的get请求

第一种方式（直接拼接在url后面）：        

携带请求参数（一）

import requests  # 导入模块

url = "https://www.baidu.com/sugrec?prod=pc&wd=美女"  # 明确目标url

# 构造请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36'
}

response = requests.get(url=url, headers=headers)
print(response.content.decode())

第二种方式（通过params参数传参）：

携带请求参数（二）

import requests  # 导入模块

url = "https://www.baidu.com/sugrec"  # 明确目标url
# 构造请求参数
params = {
    'prod': 'pc',
    'wd': '美女'
}
# 构造请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36'
}

response = requests.get(url=url, headers=headers, params=params)
print(response.content.decode())

3.携带请求参数的post请求

        这是一个post请求，可以看到post请求的参数并未在请求url之后以明文的形式拼接，这便是post请求与get请求的一点区别，所以post没有像get请求第一种拼接在url之后的方法请求，只能使用参数传递的形式携带请求参数，话不多说，直接上代码。

post携带参数请求

import requests  # 导入模块

url = "http://www.xinfadi.com.cn/getPriceData.html"  # 明确目标url
# 构造请求参数
data = {
    'limit': '20',
    'current': '4'
}
# 构造请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36'
}

response = requests.get(url=url, headers=headers, data=data)  # headers参数必须以键值对形式传递
print(response.content.decode())

与get请求有区别的是get请求使用params参数，而post请求使用data参数。