简介: 简单来说,robobrowser是一个轻量级的浏览器,自动测试库,和selenium类似,但运行比selenium更为隐蔽,因为它不会打开浏览器页面。如果之前的爬虫中你有使用过requests和bs4,那robobrowser绝对会让你爱不释手。
安装: pip install robobrowser
使用场景
- 模拟登陆: 这一需求在数据爬取的过程中经常会遇到,我们一般的处理方式,是用requests去模拟登陆请求,这对参数简单点的网站来说堪称利器,但对于参数复杂还加密的,就有点费力不讨好了。但如果使用robobrowser,这个过程就会变得极其简单。
- 操作流程
1.得到robobrowser对象
2.打开网站的登陆链接
3.找到登陆表单,得到表单对象
4.填写用户名和密码
5.提交表单
6.验证是否登陆成功 - 实例
使用robobrowser模拟登陆GitHub
- 操作流程
'''
@description:使用robobrowser模拟登陆GitHub
'''
from robobrowser import RoboBrowser
login_url