Python-requests

最新推荐文章于 2021-05-15 11:08:36 发布

Ethan 555

最新推荐文章于 2021-05-15 11:08:36 发布

阅读量292

点赞数

本文链接：https://blog.csdn.net/qq_35751843/article/details/105069868

版权

HTTP协议

报文	说明
GET	请求获得URL位置的资源
HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

方法

方法	说明
requests.request()	构造一个请求，支持下列方法的基础。
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取网页头信息的方法，对应于HTTP的HEAD
requests.post()	向网页提交POST请求的方法，对应于HTTP的POST
requests.put()	提交PUT语法，对应于HTTP的PUT
requests.patch()	提交局部修改请求，对应于HTTP的PATCH
requests.delete()	提交删除请求，对应于HTTP的DELETE

Response对象属性

属性	作用
r.status_code	HTTP请求返回的状态，200表示成功，其它都是失败。
r.text	HTTP响应内容的字符串形式
r.encoding	网页的编码方式，由http的head中获得
r.apparent_encoding	备选的编码方式，由内容分析出来。
r.content	HTTP响应内容的二进制形式(如图片)

Response对象方法

方法	说明
r.raise_for_status()	如果不是200，产生异常requests.HTTPError

Requests库异常

异常	说明
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.URLRequired	URL缺失异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常

访问控制参数

params
字典或字节序列，可以作为参数增加到URL中
例，http://baidu.com/ws?k1=value&k2=value2
data
字典或字节序列或文件对象，作为Request的内容；键值对并不放在URL中，而放在
json
JSON格式的数据，作为Request的内容
headers
字典，HTTP定制头，定制访问某个URL的HTTP头。
cookies
字典或CookieJar，Request中的cookie
auth
元组，支持HTTP认证功能
files
字典类型，传输文件
timeout
设定超时时间，以秒为单位
proxies
字典类型，设定访问代理服务器，可以增加登录认证
allow_redirects
True/False，默认为True，重写向开关
stream
True/False，默认为True，获取内容立即下载开关
verify
True/False，默认为True，认证SSL证书开关
cert
配置SSL证书路径

requests.request()

语法

requests.request(method,url,**kwargs)

method
请求方式，对应get/post等七种
特别指出OPTIONS这一种。
url
请求地址
**kwargs

requests.get()

语法

requests.get(url,params=None,**kwargs)

url
要获得的页面的链接，注意加上”http://”
params
额外的参数，可以是字典或字节流格式。
kwargs
其它12个控制访问的参数。

源代码

可以看到在内部其实是调用“request”方法来实现的。

def get(url, params=None, **kwargs):
    r"""Sends a GET request.

    :param url: URL for the new :class:`Request` object.
    :param params: (optional) Dictionary, list of tuples or bytes to send
        in the query string for the :class:`Request`.
    :param \*\*kwargs: Optional arguments that ``request`` takes.
    :return: :class:`Response <Response>` object
    :rtype: requests.Response
    """

    kwargs.setdefault('allow_redirects', True)
    return request('get', url, params=params, **kwargs)

使用实例

向服务器请求资源时，构建一个Request对象。由服务器传回来的数据，被构成一个Response对象。

import requests
baidu = requests.get("http://www.baidu.com")
print(type(baidu))
print(baidu.status_code)

下面的结果中，可以看到得到的对象类型为Response。
状态码为“200”表示请求成功。

<class 'requests.models.Response'> 
200

print(baidu.encoding,baidu.apparent_encoding)

这里可以观察到，网页的head中指名是”ISO-8859-1″编码，而实际分析结果是“utf-8”。

当header中不存在charset字段时，将默认编码为“ISO-8859-1”

ISO-8859-1 utf-8

print(baidu.text)

下面的结果中出现了一些乱码。通过改变encoding属性来转换编码。我们使用apparent_encoding属性给出的编码。

'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>ç\x99¾åº¦ä¸\x80ä¸\x8bï¼\x8cä½\xa0å°±ç\x9f¥é\x81\x93</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=ç\x99¾åº¦ä¸\x80ä¸\x8b class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ\x96°é\x97»</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>å\x9c°å\x9b¾</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>è§\x86é¢\x91</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å\x90§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>ç\x99»å½\x95</a> </noscript> <script>document.write(\'<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=\'+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ \'" name="tj_login" class="lb">ç\x99»å½\x95</a>\');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">æ\x9b´å¤\x9aäº§å\x93\x81</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å\x85³äº\x8eç\x99¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>ä½¿ç\x94¨ç\x99¾åº¦å\x89\x8då¿\x85è¯»</a>  <a href=http://jianyi.baidu.com/ class=cp-feedback>æ\x84\x8fè§\x81å\x8f\x8dé¦\x88</a> äº¬ICPè¯\x81030173å\x8f·  <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'

baidu.encoding = baidu.apparent_encoding
print(baidu.text)

将编码改为”utf-8″后，成功显示出中文。

'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn"></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=http://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write(\'<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=\'+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ \'" name="tj_login" class="lb">登录</a>\');</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>使用百度前必读</a>  <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a> 京ICP证030173号  <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>\r\n'

异常处理

import requests
def getHTMLText(url):
    try:
        baidu = requests.get(url,timeout = 30)
        baidu.raise_for_status()
        baidu.encoding = baidu.apparent_encoding
        return baidu.text
    except:
        return "产生异常"

if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

Ethan 555

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Python-requests

目录HTTP协议方法Response对象属性Response对象方法Requests库异常访问控制参数requests.request()语法requests.get()语法源代码使用实例异常处理Python-requests-ExamplesHTTP协议报文说明GET请求获得URL位置的资源HEAD请求获取URL位置资源的响应消息报告，即获得该资源的头部信息POST请...
复制链接

扫一扫