python的selenium模块_Python Selenium模块学习

简介

Selenium是一个自动web测试模块!可以通过调用浏览器来进行网络爬虫(爬取动态网页)!

准备

使用pip3可以很简单的安装selenium模块!

想要使用selenium进行网络爬虫需要下载指定浏览器的插件!因为selenium是通过调用浏览器来进行web测试的!

这里使用firefox来测试!

firefox浏览器的插件为geckodriver!

注:一定要对应!不然在调用时会报错!

查看firefox版本!

查看selenium版本!

因此这里我们下载geckodriver v0.19.1版本即可!

因为我这里是linux32位的所以我下载指定系统版本的geckodriver!

解压后即可得到一个geckodriver插件!

将该插件放入系统环境目录下即可!

测试

使用selenium模块下的webdriver模块!来打开指定浏览器!

成功使用selenium模块打开一个浏览器!

接下来使用指定的命令即可让python自动帮我们对浏览器进行操作!

学习

firefox.get(url)可以让python帮我们打开指定网页

firefox.get_cookies可以获取cookie信息

firefox.page_source可以查看打开页面的源代码

firefox.title可以查看网页标题

webdriver提供了很多用来寻找页面元素、位置的方法!通过这些方法可以寻找需要的页面内容和位置!

firefox.find_element_by_id()可以通过页面的id元素来查找指定元素、位置!

查看百度搜索框的id元素!使用firefox.find_element_by_id()方法来查找元素位置!

现在text这个变量就指向了百度搜索框的位置!

使用send_keys()方法可以模拟键盘操作向搜索框中添加内容!

再通过查找百度一下按钮的位置!

使用click()方法来模拟鼠标点击按钮实现一次自动百度搜索!

firefox.find_elenment_by_class_name()方法可以通过class元素来匹配页面元素位置!

默认指向到第一个匹配到的!

firefox.find_element_by_link_text()可以通过链接文本来匹配页面元素位置!

使用text()方法可以查看匹配后元素的文本内容!

使用firefox.find_element_by_xpath()可以通过xpath的匹配规则来匹配页面元素位置!

当然还有其他匹配页面元素位置的方法!不过下面的学习中基本上都使用上面几种!特别是find_element_by_xpath()这种方法!

知识点:上面的find_element_by_x()方法全部都是匹配一个元素的,使用find_elements_by_x()方法即可返回所有匹配到的元素到一个列表中!

测试

使用selenium模块制作一个爬虫程序!爬取简书下推荐作者的名字和粉丝数!

思路

从简书的推荐作者页面来进行爬取!

该页面时通过点击加载更多的按钮后来动态获取到作者页面链接的!

代码框架

用户输入爬取作者的页数(加载一次为一页)

利用selenium模块模拟鼠标点击”加载更多“按钮来加载完指定页数的作者

利用find_elements_by_xx()方法来匹配所有作者的主页url(在得到匹配后的元素位置后使用get_attribute(元素)方法可以获取指定元素的值)

使用request模块来生成每一个主页的response

使用lxml模块来将每一个主页的源代码转化成xml格式!

利用xml自带的xpath()方法来匹配作者名和粉丝数

保存到数据库中

完成后

---------------------------------分割线---------------------------

希望各位大佬能指出错误的地方或者给些建议!

hi， 大家好， 时隔一年， 我又发布了文章，说来惭愧，这篇文章是一年前写的，当时想着优化下代码再发出来的，但是后面不了了之了，现在将这篇旧文章发布出来，也是记录我重新写学习文章的开始，这次一定要坚持下来！

图片发自简书App