Python网络爬虫：Requests库

1 请求方式

        Requests模块常用的两种请求方式是GET和POST.

        1.1 GET请求

        GET请求可以在url中携带参数，以百度为例：

# 不带参数
https://www.baidu.com/
# 带参数wd
https://www.baidu.com/s?wd=iphone

         Requests实现GET请求，对于带参数的URL有两种请求方式：

import requests

# 第一种方式
response = requests.get('https://www.baidu.com/s?wd=iphone')

# 第二种方式
url = 'https://www.baidu.com/s'
params = {'wd':'iphone'}
response = requests.get(url, params=params)

         两种方式都是请求同一个url，但第一种方式更加简洁，如果参数是动态变化的，可以使用格式化字符串对url动态设置，例如f"https://www.baidu.com/s?wd={传入变量}"

        1.2 POST请求

        POST请求也就是提交表单，表单的数据内容就是POST的请求参数。POST请求的参数data的数据格式可以为字典、元组、列表和JSON格式。

        当向服务器发送请求后，服务器会返回相应的响应对象（response），包含服务器响应的信息。requests提供以下方法获取响应内容。

        

r.status_code	响应状态码
r.raw	原始响应体、使用r.raw.read()读取
r.content	字节方式的响应体，需要进行解码
r.text	字符串方式的响应体，会自动根据响应头部的字符编码进行解码
r.headers	以字典对象存储服务器响应头，但这个字典比较特殊，字典键不区分大小写，若键不存在，则返回None。
r.json()	Requests中内置的JSON解码器
r.raise_for_status()	请求失败（非200响应），抛出异常
r.url	获取请求链接
r.cookies	获取请求后的cookies
r.encoding	获取编码格式

2 复杂的请求方式 

        2.1 添加请求头

        请求头为字典形式，在requests中的参数名为headers，示例代码如下：

headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36"
        }

requests.get("https://www.jd.com", headers=headers)

        2.2 使用代理ip

        代理ip的使用方法笔者将会在之后单独写文章介绍，这里只做演示。代理ip的使用方法与请求头的使用方法一致，需要设置proxies参数，示例代码如下：

import requests
proxies = {
    "http": "http://10.120.1.110:8888",
    "https": "http://10.120.1.110:8888",
    }

requests.get("https://www.jd.com/", proxies=proxies)

        2.3 证书验证

        通常设置关闭验证即可，即verify=False，默认情况下是True。示例代码如下：

import requests

url = "https://www.jd.com"
# 关闭证书验证
response = requests.get(url, verify=False)

   3 总结

        Requests是Python的一个很实用的HTTP客户端库，可完全满足如今编写网络爬虫程序的需求，是爬虫开发人员首选的爬虫库。其具有语法简单易懂，完全符合Python优雅和简洁的特性，在兼容性上完全兼容Python任何版本，具有较强的适用性。

        使用Requests发送请求时可以携带以下几种常见的参数：

import requests

url = 'https://www.jd.com'

# GET请求

response = requests.get(url, headers=headers, proxies=proxies, verify=False, cookies=cookies)

# POST 请求

response = requests.post(url, headers=headers, proxies=proxies, verify=False, cookies=cookies)