如果我们想要实现自动登录,那么我们就需要能够驱动浏览器(比如谷歌浏览器)来实现操作,ChromeDriver 刚好能够帮助我们这一点(非谷歌浏览器的驱动有所不同)。
一、确认软件版本
首先我们需要确认我们所使用的谷歌浏览器版本,这里测试的谷歌浏览器版本为(版本 67.0.3396.87(正式版本) (64 位)),点击设置—关于Chrome,则可以看到
我们进入 Chromedriver 的官网下载页面,可以看到最新的 2. 4 版本支持谷歌的 v66-68,下载并保存路径即可
这里我们下载 win 版本,解压后存放到路径 “E:\chromedriver.exe”。
二、初步访问网站
除了使用 Chromedriver作为驱动,我们想要访问网站,还需要用到 Selenium 模块,Selenium 是一个自动化测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击、下拉等等操作,同时还可以获取浏览器当前呈现的页面的源代码,做到可见即可爬。对于一些 JavaScript 动态渲染的页面来说,此种抓取方式非常有效。我们先来安装此模块
pip install selenium
接着我们实现的代码如下
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# @Time : 2018/6/24 20:45
# @Author : zhouyuyao