爬虫-request-模块请求参数

最新推荐文章于 2024-06-18 00:06:24 发布

DI O

最新推荐文章于 2024-06-18 00:06:24 发布

阅读量701

点赞数

分类专栏：爬虫文章标签：爬虫 python

本文链接：https://blog.csdn.net/LeFran/article/details/118365659

版权

本文介绍了Python爬虫中Request模块的使用，包括设置headers请求头、params请求参数、proxies代理IP、cookie处理，以及verify安全验证、timeout网络超时参数、retrying重试机制。通过示例讲解了GET和POST请求中如何携带相关参数，确保爬虫请求的顺利进行。

摘要由CSDN通过智能技术生成

headers 请求头

伪装的更像是一个正常的浏览器在请求服务.
headers字典是从浏览器群中的请求头信息中复制过来的.
response = requests.get(url, headers={})

import requests

# 1. 准备百度的url地址
url = "http://www.baidu.com"
# 准备自己定义的请求头的字典, 从浏览器中复制过来的请求头信息
headers = {
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.59"
}


# 2. 对百度发起请求 获取到响应  想要携带我们自己定义的 请求头信息，那么就可以使用 headers参数={}
response = requests.get(url, headers=headers)

# 打印一下响应的内容，以及响应的字符串的长度
# print(response.content.decode())

print('-'*50)
print(f"获取到的百度字符串的长度： {
     len(response.content.decode())}")

# 获取一下 请求头信息
print(response.request.headers)

params 请求参数

请求参数(query_string) ?key=value&key2=value2
response = requets.get(url, headers={}, params={})

import requests
# 1. 准备url地址
# 如果url地址中 参数比较多，将参数都放到url地址中，会让url地址变得特别长。
url = "https://www.baidu.com/s?wd=python"
# 从浏览器中复制来的 User-Agent 和 Cookie
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36 Edg/91.0.864.59",
    "Cookie": "BIDUPSID=5DE38708545D8146E1F1F982BD8130D9; PSTM=1614823365; BAIDUID=5DE38708545D814671698FE674E91491:FG=1; __yjs_duid=1_69a4f382b161ec298ec56522ecf08bfd1618971394377; MCITY=-266%3A131%3A; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; ispeed_lsm=2; H_WISE_SIDS=110085_127969_128698_131862_164869_171235_174447_174661_174665_175538_175555_175756_176121_176158_176399_176677_176866_177007_177062_177224_177371_177380_177397_177412_177749_177783_178007_178261_178330_178384_178445_178498_178615_178706_178726_178896_178946_178993_179200_179309_179349_179402_179423_179480_179593_180074; plus_cv=1::m:7.94e+147; BD_UPN=12314753; H_PS_PSSID=; delPer=0; BD_CK_SAM=1; PSINO=1; BAIDUID_BFESS=5DE38708545D814671698FE674E91491:FG=1; H_PS_645EC=82fb32TSpdNDCfGulvu5ZJ3CgYjWxWSp8qPBqGaBGiw3qguoW0vTRGQb3rw; BA_HECTOR=a5848l8la125018ka81gdl0rl0r; COOKIE_SESSION=216_1_5_8_2_14_1_1_5_5_0_5_60061_0_0_0_1624932884_1624873469_1624933236%7C9%231039617_52_1624873451%7C9"
}


# 2. 发送请求 获取响应
response = requests.get(url, headers=headers)

# print(response.content.decode())

print('-'*