requests的作用
发送网络请求,返回响应数据
import requests
headers = {
"User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Mobile Safari/537.36"}
url = 'https://www.baidu.com/s?'
# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}
# 带上请求参数发起请求,获取响应
response = requests.get(url, headers=headers, params=kw)
print(response.content)
requests库的七个主要方法
方法 | 解释 |
---|---|
requests.request() | 构造一个请求,支持以下各种方法 |
requests.get() | 获取html的主要方法 |
requests.head() | 获取html头部信息的主要方法 |
requests.post() | 向html网页提交post请求的方法 |
requests.put() | 向html网页提交put请求的方法 |
requests.patch() | 向html提交局部修改的请求 |
requests.delete() | 向html提交删除请求 |
使用requests发送GET请求
参数 | 说明 |
---|---|
url | 向服务器发送url请求 |
params | 添加查询参数 |
**kwargs(headers) | 添加请求头信息 |
- url: 需要爬取的网站地址。
- params: 翻译过来就是参数, url中的额外参数,字典或者字节流格式,可选。
- **kwargs : 12个控制访问的参数
我们先来讲讲**kwargs:
**kwargs有以下的参数,对于requests.get,其第一个参数被提出来了。
- params:作为参数增加到url中,是以key1=value1&key2=value2的模式增加到url中 ,例如:kv = {‘key1: ’ values’, ‘key2’: ‘values’}
- r = requests.get(‘http:www.baidu.com’, params=kw)
- data:字典,字节序或文件对象,重点作为向服务器提供或提交资源是提交,,作为request的内容,与params不同的是,data提交的数据并不放在url链接里, 而是放在url链接对应位置的地方作为数据来存储。,它也可以接受一个字符串对象。
json:json格式的数据, json合适在相关的html,http相关的web开发中非常常见, 也是http最经常使用的数据格式, 他是作为内容部分可以向服务器提交。
例如:kv = {”key1’: ‘value1’}
r = requests.request(‘POST’, ‘http:www.baidu.com‘, json=kv)headers:字典是http的相关语,对应了向某个url访问时所发起的http的头i字段, 可以用这个字段来定义http的访问的http头,可以用来模拟任何我们想模拟的浏览器来对url发起访问。
例子:headers = {"User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Mobile Safari/537.36"}
r = requests.request(‘POST’, ‘http:www.baidu.com‘, headers=headers )cookies:字典或CookieJar,指的是从http中解析cookie
auth:元组,用来支持http认证功能
files:字典, 是用来向服务器传输文件时使用的字段。
例子:fs = {‘files’: open(‘data.txt’, ‘rb’)}
r = requests.request(‘POST’, ‘http:www.baidu.com‘, files=fs)timeout: 用于设定超时时间, 单位为秒,当发起一个get请求时可以设置一个timeout时间, 如果在timeout时间内请求内容没有返回, 将产生一个timeout的异常。
proxies:字典, 用来设置访问代理服务器。
allow_redirects: 开关, 表示是否允许对url进行重定向, 默认为True。
stream: 开关, 指是否对获取内容进行立即下载, 默认为True。
verify:开关, 用于认证SSL证书, 默认为True。
cert: 用于设置保存本地SSL证书路径
这句代码是构造一个服务器请求request,返回一个包含服务器资源的response对象。
import requests
# 目标url
url = 'https://www.baidu.com'
# 向目标url发送get请求
response = requests.get(url)
# 打印响应内容
print(response.text)
发送带有请求参数以及请求头的请求(params,headers):
import requests
headers = {
"User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Mobile Safari/537.36"}
url = 'https://www.baidu.com/s?'
# 请求参数是一个字典 即wd=python
kw = {'wd': 'python'}
# 带上请求参数发起请求,获取响应
response = requests.get(url, headers=headers, params=kw)
print(response.content)
requests返回对象的常见属性值:
response = requests.get(url, headers=headers, params=kw)
data_text = response.text # 响应体 str类型
data_bytes = response.content # 响应体 bytes类型
code = response.status_code # 响应状态码
request_headers = response.request.headers # 响应对应的请求头
headers = response.headers # 响应头
request_cookies = response.request._cookies # 响应对应请求的cookie
cookies = response.cookies # 响应的cookie(经过了set-cookie动作)
proxies:用来设置访问代理服务器
使用原因:
让服务器以为不是同一个客户端在请求
防止我们的真实地址被泄露,防止被追究
使用流程:
使用:
requests.get("http://www.baidu.com", proxies = proxies)
代理的分类:
1. 透明代理:虽然隐藏了IP但还是可以查找到你是谁
2. 匿名代理 :别人知道你使用了代理,但是不知道你是谁
3.高匿代理 :别人根本不知道你使用了IP
从请求使用的协议可以分为:
- http代理
- https代理
- socket代理等
不同分类的代理,在使用的时候需要根据抓取网站的协议来选择
使用requests发送POST请求
参数 | 说明 |
---|---|
url | 向服务器发送url请求 |
data | 提交表单的数据 |
**kwargs(headers) | 添加请求头信息 |
post函数和get函数使用差不多
response = requests.post("http://www.baidu.com/", \
data = data,headers=headers)
案例:
post请求百度翻译,因为pc端设有token机制,所以已手机版为例
import requests
import json
class Get_baidufanyi(object):
def __init__(self):
self.bases_url = 'http://fanyi.baidu.com/basetrans'
self.headers = {"User-Agent": "Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Mobile Safari/537.36"}
def send_post(self):
data = {
'query':input('请输入:'),
'from':"zh",
'to':"en"
}
response = requests.post(url=self.bases_url,data=data,headers=self.headers)
return response.content.decode()
def run(self):
context = self.send_post()
fanyi_dict = json.loads(context)
result =fanyi_dict['trans'][0]['dst']
print(result)
if __name__ == '__main__':
fanyi = Get_baidufanyi()
fanyi.run()
requests中的其他方法
cookirJar
response.cookies返回的是类型为cookirJar类型
requests.utils.dict_from_cookiejar,可以将其转换为字典
import requests
url = "http://www.baidu.com"
#发送请求,获取resposne
response = requests.get(url)
print(type(response.cookies))
#使用方法从cookiejar中提取数据
cookies = requests.utils.dict_from_cookiejar(response.cookies)
print(cookies)
有时候我们需要爬一些需要登录才能进入网页,这个时候就要用到cookie相关的一些模块来操作了
内置的http包里包含了cookie相关的一些模块,通过她们我们可以自动使用cookie
- CookieJar
- 管理储存cookie,像传出的http请求添加cookie
- cookie存储在内存中,CookieJar示例回收后cookie将自动消失
- FileCookieJar
- 是CookieJar的字类
- cookie保存在文件中
- MozillaCookiejar
- 是FileCookieJar的子类
- 与moccilla浏览器兼容
- LwpCookieJar
- 是FileCookieJar的子类
- 与libwww-perl标准兼容