requests请求

请求方式

requests.get() --发送get请求
通过params传递参数
requests.post()–发送post请求
通过json/data 传递参数

data:
数据报文–dict字典类型,默认情况下请求头为applilcation/x-www-form-urlencoded,表示以form表单的方式传参;
数据报文–str类型默认情况下请求头为:text/plain(如果是字典格式需要转化成json格式传参;
json:
数据报文 --不管是dict还是str类型,默认都是applilcation/json

requests.delete()–发送delete请求
requests.put()–发送put请求
requests.head()–发送head请求
requests.options()–发送options请求
requests.request()–统一请求

# 使用request进行post请求
response = requests,request('post',url,data,cookie)

requests.session()–通过session实现请求
session对象可以实现在对不同http请求时保持一些参数不变,即同一个session对象发送的请求均携带某一个指定的参数。最常用的便是将第一次请求得到的cookies,继续用于后续同一session对象的请求中。

s= requests.session()  # 创建session对象
# 设置一个auth属性
s.auth = ('user','demo')
# 添加请求头信息
s.headers.update({'x-test':'true'})
# 若请求没有设置auth参数则为默认设置的参数
response1 = s.request('get',url1)
# print(s.headers)
# {'User-Agent': 'python-requests/2.25.1', 
# 'Accept-Encoding': 'gzip, deflate',
# 'Accept': '*/*', 
# 'Connection': 'keep-alive', 
# 'x-test': 'true'}

# 若请求中设置了参数,则当前请求包含此参数,但不会改变跨请求参数,例:下一个请求不会携带{'x-test2':'true'}
response2= s.get(url2,headers = {'x-test2':'true'})
# print(response2.request.headers)
# {'User-Agent': 'python-requests/2.25.1', 
# 'Accept-Encoding': 'gzip, deflate',
# 'Accept': '*/*',
# 'Connection': 'keep-alive', 
# 'x-test': 'true', 
# 'x-test2': 'true'}

什么是session?
session是用来维护客户端和服务端之间传输的一种技术,每一个客户端都有一个session且唯一。
用户信息通过session保存在服务器中,客户端第一次访问服务器时就会产生一个具有唯一性的id,客户端和服务器之间利用唯一id实现用户的信息交互,这样便避免了每一次的访问都向服务端传回所有的cookies,而是利用唯一id进行信息的交互动作。

cookie是什么?:
cookie是由服务端创建的,服务端以响应头的方式发送给客户端,再次向服务器发送请求时会自动将cookie以请求头的形式传回。
cookie中记录了用户的信息,以key=value的方式保存.
cookie存放在硬盘中,第一次访问结束后服务器返回给客户端cookie,之后客户端每一次访问服务器都会带上这段数据。
cookie中包含着登录信息,如果在爬虫操作时,网页登陆之后又cookie,那么请求的时候要把cookie带上。

响应方法

方法返回一个response对象
requests.response返回状态信息
requests.cookies返回cookies
requests.encoding返回编码格式
requests.headers返回响应头信息
requests.text返回字符串
requests.json()返回字典格式
requests.status_code返回状态码
requests.content返回字节格式

response = requests.get(url)
response.headers 返回的是响应头信息
response.request.header 返回的是请求头的信息

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
引用中提到了requests模块可以简化复杂的请求头设置。在使用requests发送网络请求时,可以通过设置headers参数来传递请求头信息。请求头是包含一些关键信息的HTTP头部字段,用于告诉服务器关于请求的一些重要信息,比如User-Agent、Accept-Language等。通过设置请求头,可以模拟浏览器的头部信息来进行访问,解决服务器拒绝访问的问题。其中给出了一个示例代码,可以通过创建一个字典来设置头部信息,然后将该字典作为headers参数传递给requests.get()方法来发送请求。例如: ```python import requests url = 'https://www.example.com/' # 替换为需要请求的网址 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0'} response = requests.get(url, headers=headers) print(response.status_code) ``` 在上述代码中,我们通过设置User-Agent字段来模拟Firefox浏览器发送请求头信息,并通过requests.get()方法发送了一个GET请求。最后,我们打印了响应状态码。这样就可以通过设置请求头来进行requests请求了。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [爬虫实战学习笔记_6 网络请求request模块:基本请求方式+设置请求头+获取cookies+模拟登陆+会话请求+验证...](https://blog.csdn.net/qq_39237205/article/details/123805848)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值