Requests库的7个方法(学习Requests库随笔)

Requests库的7个主要方法

方法说明
requests.request()构造一个请求,支撑以下各方法的基础方法
requests.get()获取HTML网页的主要方法,对应于HTTP的GET
requests.post()向HTML网页提交POST请求的方法,对应于HTTP的POST
requests.head()获取HTML网页头信息的方法,对应于HTTP的HEAD
requests.put()向HTML网页提交PUT请求的方法,对应于HTTP的PUT
requests.patch()向HTML网页提交局部修改请求,对应于HTTP的PATCH
requests.delete()向HTML页面提交删除请求,对应于HTTP的DELETE

HTTP协议对资源的操作

HTTP协议:通过URL对资源进行定位,通过6种方法对资源进行管理

方法说明
GET请求获取URL位置的资源
HEAD请求获取URL位置资源的相应信息的报告,即获得该资源的头部资源
POST请求向URL位置的资源后附加新的数据
PUT请求向URL位置存储一个资源,会覆盖原位置的资源
PATCH请求局部更新URL位置的资源,即改变该位置资源的部分内容
DELETE删除URL位置的资源

用户可以通过GET,HEAD向服务器获取资源,还可以通过PUT,POST,PATCH向服务器提交资源

Requests方法的详细论述:

requests.request(method, url, **kwargs)

method请求方式,对应put,get等7种
url页面链接
**kwargs控制页面访问的参数,一共13个

**kwargs参数

参数作用
params字典或字节序列,作为参数增加到url中
data字典,字节序列或文件对象,作为Request的内容(向服务器提交资源使用)
jsonJSON格式的数据,作为request的内容(作为内容部分向服务器提交)
headers字典,HTTP定制头
cookies从http协议中解析cookie,可以是字典或cookieJar形式
auth元组,支持HTTP认证功能
files字典类型,向服务器传输文件时使用
timeout设定超时时间,以s(秒)为单位
proxies字典类型,设定访问代理服务器,可以增加登录认证(隐藏IP,防止对爬虫的逆追踪)
allow_redirectsTrue/False,默认为True,重定向开关,表示是否允许对url进行重定向
streamTrue/False,默认为True,获取内容立即下载开关
verifyTrue/False,默认为True,认证SSL证书开关
cert保存本地SSL证书路径

requests.get(url, params=None, **kwargs)

参数说明
url拟取页面的链接
params字典或字节流格式,url中增加的额外参数
**kwargs除去params的12个控制访问参数(与上表中的基本一致)

以下几种方法与requests.get(url, params=None, **kwargs)基本相似就不再一一描述

requests.head(url, **kwargs)
requests.post(url, data = None, json = None, **kwargs)
requests.put(url, data = None, **kwargs)
requests.patch(url, data = None, **kwargs)
requests.delets(url, **kwargs)

Requests库异常

异常说明
requests.ConnectionError网络连接错误异常,如DNS查询失败、拒绝连接等
requests.HTTPErrorHTTP错误异常
requests.URLRequiredURL缺失异常
requests.TooManyRedirects超过最大重定向次数,产生重定向异常
requests.ConnectTimeout连接远程服务器超时异常
requests.Timeout请求URL超时,产生超时异常

Response对象属性

属性说明
r.status_codeHTTP请求的返回状态,200表示连接成功,404表示失败
r.textHTTP响应内容的字符串形式,即,url对应的页面内容
r.encoding从HTTP header中猜测的响应内容编码方式
r.apparent_encoding内容中分析出的响应内容编码方式(备选编码方式)
r.contentHTTP响应内容的二进制形式

r.encoding:如果header中不存在charset,则认为编码为ISO‐8859‐1
r.text根据r.encoding显示网页内容
r.apparent_encoding:根据网页内容分析出的编码方式,可以看作是r.encoding的备选

r.status_code和r.raise_for_status()
如果发送了一个错误请求(一个 4XX 客户端错误,或者 5XX 服务器错误响应),我们可以通过 Response.raise_for_status() 来抛出异常:

r.status_code是输出404

>>> bad_r = requests.get('http://httpbin.org/status/404')
>>> bad_r.status_code
404

r.raise_for_status()抛出异常

>>> bad_r.raise_for_status()
Traceback (most recent call last):
  File "requests/models.py", line 832, in raise_for_status
    raise http_error
requests.exceptions.HTTPError: 404 Client Error

但是,如果 r 的 status_code 是 200 ,当我们调用 raise_for_status() 时,得到的是:

>>> r.raise_for_status()
None

下面附上爬取网页通用代码框架:

以爬取百度网页为例:

import requests
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()  # 如果状态不是200, 引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__== "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))
  • 4
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值