Requests库入门笔记

最新推荐文章于 2024-03-17 14:41:19 发布

__Ike__

最新推荐文章于 2024-03-17 14:41:19 发布

阅读量150

点赞数 1

分类专栏： Python 爬虫笔记文章标签： python

本文链接：https://blog.csdn.net/qq_43639438/article/details/107130743

版权

Python 同时被 2 个专栏收录

21 篇文章 1 订阅

订阅专栏

爬虫笔记

4 篇文章 0 订阅

订阅专栏

文章目录

- - Requests库入门

Requests库入门

一：安装

requests安装：管理员身份运行cmd，执行 pip install requests

测试是否成功：

>>> import requests
>>> response = requests.get("http://www.baidu.com")
>>> print(response.status_code)
200
>>> response.text
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http:
#后面的省略

二：使用

1、Requests库的七个主要方法:

方法	说明
requests.request()	构造一个请求，支撑以下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post()	向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

2、Requests库的get()方法：requests.get(url, params=None, **kwargs)

response = requests.get(url),：

response会返回一个包含服务器资源的Response对象。

requests.get(url) 构造一个向服务器请求资源的Request对象。

其中 url ：获取页面的url链接；

params：url中的额外参数，字典或字节流格式，可选；

**kwargs：12个控制访问的参数。

Requests库的 2 个重要对象（Response、Request）：

response = requests.get(url)

Response对象包含爬虫返回的内容，包含服务器返回的所有信息，也包含请求的Request信息。

3、Response对象的属性：

属性	说明
response.status_code	HTTP请求的返回状态，200表示连接成功，404或其他表示失败
response.text	HTTP响应内容的字符串形式，即 url对应的页面内容
response.encoding	从HTTP header中猜测的响应内容编码方式
response.qpparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）
response.content	HTTP响应内容的二进制形式

>>> import requests
>>> response = requests.get("http://www.baidu.com")
>>> response.status_code	#返回200说明成功连接
200
>>> response.text	#在不知道编码格式的情况下打印出来可能会乱码
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css>	#后面的省略
>>> response.encoding	#从HTTP header中猜测的响应内容编码方式
'ISO-8859-1'
>>> response.apparent_encoding	#从内容中分析出的响应内容编码方式
'utf-8'
>>> response.encoding = "utf-8"		#设置它的编码
>>> response.text	#再次打印就不会乱码
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div 
#后面的省略

4、Response的编码：

1、response.encoding（从HTTP header中猜测的响应内容编码方式）：如果header中不存在charset，则认为编码为“ISO‐8859‐1”， response.text根据response.encoding显示网页内容。

2、response.apparent_encoding（从内容中分析出的响应内容编码方式）：根据网页内容分析出的编码方式可以看作是response.encoding的备选

网络连接有风险，异常处理很重要，通用代码框架：

import requests
def getHTMLText(url):
    try:
        response = requests.get(url, timeout=30)
        response.raise_for_status()		#如果状态码不是200，则引发HTTPError异常
        response.encoding = response.apparent_encoding
        return response.text
    except:
        return "爬取失败"
if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))
    
运行结果:
<!DOCTYPE html>

<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div 
    #此处省略不计其数的字 
</p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

5、Requests库的异常：

异常	说明
requests.ConnectionError	网络连接错误异常，如DNS查询失败、拒绝连接等
requests.HTTPError	HTTP错误异常
requests.TooManyRedirects	超过最大重定向次数，产生重定向异常
requests.ConnectTimeout	连接远程服务器超时异常
requests.Timeout	请求URL超时，产生超时异常
requests.URLRequired	URL缺失异常
response.raise_for_status()	不是200，产生异常 requests.HTTPError

response.raise_for_status()在方法内部判断r.status_code是否等于200，不需要增加额外的if语句，该语句便于利用try‐except进行异常处理。

6、HTTP协议对资源的操作

方法	说明
GET	请求获取URL位置的资源
GEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

7、PATCH和PUT的区别：

假设url位置有一组数据UserInfo，包括UserID、UserName等20个字段。

需求：用户修改了UserName，其他不变；

1、采用PATCH，仅向url提交UserName的局部更新请求；

2、采用PUT，必须将所有20个字段一并提交到url，未提交字段被删除 PATCH的最主要好处：节省网络带宽。

8、requests.request(method, url, **kwargs)

①、method : 请求方式，对应get/put/post等7种。

②、url : 拟获取页面的url链接。

③、**kwargs: 控制访问的参数，共13个。

method请求方法
response = requests.request(‘GET’, url, **kwargs)
response = requests.request(‘HEAD’, url, **kwargs)
response = requests.request(‘POST’, url, **kwargs)
response = requests.request(‘PUT’, url, **kwargs)
response = requests.request(‘PATCH’, url, **kwargs)
response = requests.request(‘delete’, url, **kwargs)
response = requests.request(‘OPTIONS’, url, **kwargs)

**kwargs: 控制访问的参数，均为可选项

①、params : 字典或字节序列，作为参数增加到url中

import requests
kv = {'key1': 'value1', 'key2': 'value2'}
response = requests.request('GET', 'http://www.baidu.com', params=kv)
print(response.url)
运行结果：
http://www.baidu.com/?key1=value1&key2=value2

②、data : 字典、字节序列或文件对象，作为Request的内容

import requests
kv = {'key1': 'value1', 'key2': 'value2'}
response = requests.request('POST', 'http://www.baidu.com', data=kv)
body = '主体内容'
response = requests.request('POST', 'http://www.baidu.com', data=body)

③、json : JSON格式的数据，作为Request的内容

import requests
kv = {'key1': 'value1', 'key2': 'value2'}
response = requests.request('POST', 'http://www.baidu.com', json=kv)

④、headers : 字典，HTTP定制头

import requests
head = {'user‐agent': 'Chrome/10'}		#修改请求头，避免服务器识别出requests爬虫
response = requests.request('POST', 'http://www.baidu.com', headers=hd)

⑤、cookies : 字典或CookieJar，Request中的cookie

⑥、auth : 元组，支持HTTP认证功能

⑦、files : 字典类型，传输文件

import requests
fs = {'file': open('test.txt', 'rb')}
response = requests.request('POST', 'http://www.baidu.com', files=fs)

⑧、timeout : 设定超时时间，秒为单位

response = requests.request('GET', 'http://www.baidu.com', timeout=30)

⑨、proxies : 字典类型，设定访问代理服务器，可以增加登录认证

import requests
pxs = { 'http': 'http://user:pass@110.110.110.110:110'
		'https': 'https://110.110.110.110:110' }
response = requests.request('GET', 'http://www.baidu.com', proxies=pxs)

⑩、allow_redirects : True/False，默认为True，重定向开关。

stream : True/False，默认为True，获取内容立即下载开关。

verify : True/False，默认为True，认证SSL证书开关。

cert : 本地SSL证书路径。

__Ike__

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Requests库入门笔记

文章目录Requests库入门一：安装二：使用1、Requests库的七个主要方法:2、Requests库的get()方法：requests.get(url, params=None, **kwargs)3、Response对象的属性：4、Response的编码：5、Requests库的异常：6、HTTP协议对资源的操作7、PATCH和PUT的区别：8、requests.request(method, url, **kwargs)Requests库入门一：安装requests安装：管理员身份运行cm
复制链接

扫一扫

专栏目录