1. selenium模块
selenium模块:基于浏览器自动化的一个模块。
selenium模块和爬虫之间的关联:
- 便捷的获取网站中动态加载的数据
- 便捷实现模拟登录
1.1 使用流程
-
环境安装:
pip install selenium
-
下载一个浏览器的驱动程序(谷歌浏览器)
-
下载路径:http://chromedriver.storage.googleapis.com/index.html
-
驱动程序和浏览器的映射关系:http://blog.csdn.net/huilan_same/article/details/51896672
73之后的驱动与浏览器版本一一对应
其他浏览器同理,http://t.csdn.cn/v6EtM。下载后将驱动目录加入到系统环境变量。
-
1.2 代码入手
http://t.csdn.cn/k9Mhd
最新版selenium部分语法弃用:http://t.csdn.cn/z0iZt
1.3 处理iframe
如果定位的标签存在于iframe标签之中,则必须使用switch_to.frame(id)
-
动作链(拖动)
导入:
from selenium.webdriver import ActionChains
-
实例化一个动作链对象:
action = ActionChains(bro)
-
长按且点击操作:
click_and_hold(div)
-
move_by_offset(x,y)
-
让动作链立即执行:
perform()
-
释放动作链对象:
action.release()
2. 超级鹰
超级鹰:http://www.chaojiying.com/about.html
- 注册:普通用户
- 登录:普通用户
- 题分查询:充值
- 创建一个软件(id)
- 下载示例代码