requests也一个访问网络资源的模块包,不过是python的第三方库,处理url比urllib会更方便一些,而且还有很多实用的高级功能。
安装requests,这里采用pip进行安装:
- 在windows系统下只需要在命令行输入命令 pip install requests 即可安装。
- 在 linux 系统下,只需要输入命令 sudo pip install requests ,即可安装。
- 在 mac系统下,只需要输入命令 pip3 install requests ,即可安装。
安装成功后,如果是在pycharm软件编辑的话,这个时候就有requests的提示了。
如下:
requests的七个主要方法:
- requests.request() 构造一个请求,支持以下各种方法
- requests.get() 获取html的主要方法
- requests.head() 获取html头部信息的主要方法
- requests.post() 向html网页提交post请求的方法
- requests.put() 向html网页提交put请求的方法
- requests.patch() 向html提交局部修改的请求
- requests.delete() 向html提交删除请求
这里主要讲比较常用的get和post请求方式。
requests.get()
源码:get(url, params=None, kwargs)
url参数:访问地址
Params参数: 网址尾部附加的参数,如http://xxx.xx.com/get?a=xxx&b=xxx 中的a=xxx&b=xxx部分。
kwargs参数:主要是其他可传参数的集合,具体跟urllib.request.urlopen()方法里面的参数类似。我们在源码中可以发现get和post最终都是跳到一个方法进行执行。
def request(self, method, url, params=None, data=None, headers=None, cookies=None, files=None, auth=None, timeout=None, allow_redirects=True, proxies=None, hooks=None, stream=None, verify=None, cert=None, json=None)
上面的参数即为get和post方法所有可以传的参数。
具体:
import requestsr = requests.get(“http://www.baidu.com“)print(r.status_code) #状态码print(r.text) #返回内容
这是最简单的访问方法。还有带参的。
import requestsr = requests.get(‘https://www.douban.com/search‘, params={‘q’: ‘python’, ‘cat’: ‘1001’})print(r.url) #查看请求的urlprint(r.encoding) #查看请求的编码print(r.content) #返回的内容,bytes对象,未解码,r.text是已经解码之后的字符串
另外,如果要传递headers可以这么写
r = requests.get(‘https://www.douban.com/‘, headers={‘User-Agent’: ‘Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit’})
requests.post()
一些参数传递方式和get方法差不多。传入data参数作为post请求的数据
>>> r = requests.post(‘https://accounts.douban.com/login‘, data={‘form_email’: ‘abc@example.com’, ‘form_password’: ‘123456’})
requests默认使用application/x-www-form-urlencoded对POST数据编码。如果要传递JSON数据,可以直接传入json参数:
params = {‘key’: ‘value’}r = requests.post(url, json=params) # 内部自动序列化为JSON
类似的,上传文件需要更复杂的编码格式,但是requests把它简化成files参数:
>>> upload_files = {‘file’: open(‘report.xls’, ‘rb’)}>>> r = requests.post(url, files=upload_files)
要在请求中传入Cookie,只需准备一个dict传入cookies参数:
>>> cs = {‘token’: ‘12345’, ‘status’: ‘working’}>>> r = requests.get/post(url, cookies=cs)
最后,要指定超时,传入以秒为单位的timeout参数:
>>> r = requests.get/post(url, timeout=2.5) # 2.5秒后超时
获取响应头,可以通过r.headers获取,另外通过r.headers[key]获取具体某一个头部信息。获取cookies类似。
requests.request()
该方法可以实现get也可以实现post.通过首个参数method传递‘GET’或‘POST’进行区分,其余参数与上述相同。
r=requests.request(‘GET’,‘https://www.douban.com/search‘,params={‘q’: ‘python’, ‘cat’: ‘1001’})