requests
import requests
#地址,参数,头
response = requests.get(url=,params=,headers=,data=)
#获取网页
response.content.decode()
requests代理
proxies = {'http':'http://','https':'https://'}
requests.get(url,proxies)
保持服务器会话
session = requests.session()
r1 = session.post(url)
r2 = session.get(url)
- 先实例化一个session
- 使用session访问网站,cookie会存储在session中
- 存储了cookie的session可以继续用这个cookie访问网站
寻找登陆的POST地址
-
在form表单中寻找action对应url地址
- 是post的数据是input标签中name的值作为键(data字典里的键),真正的用户名和密码作为值的字典,post的url地址就是action对应的url地址
-
抓包,寻找登录的url地址
- 勾选perserve log按钮,防止页面跳转找不到url
- 寻找post数据,确定参数
- 参数不变
- 参数在当前的响应中
- 通过js生成
- 参数不变
定位想要的js
- 选择会触发js时间的按钮,点击event listener,找到js的位置
- 通过chrome中的search all file来搜索url中关键字
- 添加断点的方式来查看js的操作,通过python来进行同样的操作
requests其他命令
#将cookie转化成字典
requests.util.dict_from_cookiejar(respond.cookie)
#关闭SSL验证
response = requests.get(url,verify=False)
#超时
response = requests.get(url,timeout=)
retrying库(作为多次刷新请求)
from retrying import retry
@retry(stop_max_attempt_number=3)#如果下面函数报错,则再次使用该函数直至最大值,如果没有错误,则正常运行
def function():
pass