requests是模拟客户端向服务端发送http请求的模块。可以方便的对网页进行爬取,是学习python爬虫的较好的http请求模块。
1、安装
pip install requests
2、使用方法
方法 | 解释 |
---|---|
requests.request() | 构造一个请求,支持以下各种方法 |
requests.get() | 获取html的主要方法 |
requests.post() | 向html网页提交post请求的方法 |
requests.head() | 获取html头部信息的主要方法 |
requests.put() | 向html网页提交put请求的方法 |
requests.patch() | 向html提交局部修改的请求 |
requests.delete() | 向html提交删除请求 |
requests.request
requests.request(method,url,**kwargs)
requests.get()
requests.get(url,params=None,**kwargs)
requests.post()
requests.post(url,data=None,json=None,**kwargs)
requests.head()
headers={'content-type':'application/x-www-form-urlencoded'}
requests.post(url,data=json.dumps(data),headers=headers)
requests.put()
参考post的参数
requests.patch()
requests.delete()
requests.delete(url)
参数解析
- params : 字典或元组列表或字节,作为参数增加到url中;一般用于get请求,post请求也可用(不常用)。
- data : 字典,元组列表,字节或文件对象,作为post请求的参数。
- json : JSON格式的数据,作为post请求的json参数。
- headers : 字典类型, HTTP请求头信息。
- cookies : 字典或CookieJar,Request中的auth : 元组支持HTTP认证功能
- files : 字典类型,传输文件,作为post请求文件流数据。
- timeout : 设定超时时间,秒为单位
- proxies : 字典类型,设定访问代理服务器,可以增加登录认证
- allow_redirects : True/False,默认为True,重定向开关
- stream : True/False,默认为True,获取内容立即下载开关
- verify : True/False,默认为True,认证SSL证书开关
- cert : 本地SSL证书
- auth : 元组,支持HTTP认证功能
- **kwargs:是一个可变的参数类型,在传实参时,以关键字参数的形式传入,python会自动解析成字典的形式
params、data、json区别:
params:get请求 中接收参数,params=字典类型的数据
data:post请求中接收参数,data=字典格式的数据(content_type为键值对的编码格式)
json:post请求中接收参数,json=字典格式的数据(content_type为application/json),使用json接收会自动将字典转换为json;也可以用data接收json格式的数据,data=json.dump(字典格式的数据)