摘要:requests模块介绍,其功能比urllib更强大,且用起来更加方便
写在前面:为了更好的学习python,博主记录下自己的学习路程。本学习笔记基于廖雪峰的Python教程,如有侵权,请告知删除。欢迎与博主一起学习Pythonヽ( ̄▽ ̄)ノ
目录
常用第三方模块
requests
Python内置的urllib用于操作URL。requests同样用于操作网络资源,相比urllib,它用起来更加方便,功能也更加强大。
安装requests
在命令行模式下,输入:
pip install requests
等待安装完成即可。
使用requests
• GET请求
通过requests.get()即能够以GET请求访问网页:
import requests
r = requests.get('http://www.baidu.com/')
查看相关属性:
>>>r.status_code # 获取网页状态码
200
>>>r.url # 获取网页url
https://www.baidu.com/
>>>r.headers # 获取头部信息
{'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform'...}
>>>r.cookies # 获取cookie信息
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
>>>r.text # 以文本形式获取网页源码
b'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head>...'
>>>r.content # 以bytes形式获取网页源码
b'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type...'
>>>r.encoding # 检测网页编码形式
ISO-8859-1
requests的方便之处在于,对特定的类型的响应可以直接获取,如JSON:
>>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')
>>> r.json()
{'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', ...
对于带参数的URL,传入一个dict作为params
参数:
>>>r = requests.get('https://www.baidu.com/s',params={'wd':'python'}) # 百度搜索python
>>>r.url
https://www.baidu.com/s?wd=python
若要传入HTTPheader,则传入一个dict作为headers
参数即可:
>>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})
>>> r.text # 模拟移动端访问豆瓣
'<!DOCTYPE html>\n<html>\n<head>\n<meta charset="UTF-8">\n <title>豆瓣(手机版)</title>...'
要指定超时,传入以秒为单位的timeout
参数:
>>> r = requests.get(url, timeout=2) # 2秒后超时
• POST请求
要发送post请求,通过requests.post(),然后传入data参数作为请求数据:
>>> r = requests.post('https://accounts.douban.com/login', data={'form_email': 'abc@example.com', 'form_password': '123456'})
requests默认使用application/x-www-form-urlencoded
对POST数据编码。如果要传递JSON数据,可以直接传入json
参数:
params = {'key': 'value'}
r = requests.post(url, json=params) # 内部自动序列化为JSON
类似的,上传文件需要更复杂的编码格式,但是requests把它简化成files
参数:
>>> upload_files = {'file': open('report.xls', 'rb')}
>>> r = requests.post(url, files=upload_files)
• 其他请求方式
import requests
requests.put('http://www.baidu.com/put')
requests.delete('http://www.baidu.com/delete')
requests.head('http://www.baidu.com/get')
requests.options('http://www.baidu.com/get')
以上就是本节的全部内容,感谢你的阅读。
下一节内容:常用第三方模块之 chardet
有任何问题与想法,欢迎评论与吐槽。
和博主一起学习Python吧( ̄▽ ̄)~*