第六章 selenium自动化测试工具：天下工具为我所用

最新推荐文章于 2023-02-22 12:30:58 发布

狮范客

最新推荐文章于 2023-02-22 12:30:58 发布

阅读量629

点赞数 1

分类专栏：爬虫文章标签： python selenium chrome java xpath

本文链接：https://blog.csdn.net/weixin_47388144/article/details/106358198

版权

在这里插入图片描述

简介

Selenium是一个Web的自动化测试工具，类型像我们玩游戏用的按键精灵，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。

Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

但是被用歪了，现在一般作为破解反爬的一种手段，一般用于解决动态页面或者js加密的爬虫问题。（ps：只要有js参与页面动态生成元素的都叫动态页面）

不然的话用Python 解决这个问题只有两种途径:
1.直接从JavaScript 代码里采集内容（费时费力）
2.用Python 的第三方库运行JavaScript，直接采集你在浏览器里看到的页面。

案例瓜子二手手网站爬取：
import requests

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0",
}
html = requests.get("https://www.guazi.com/zz/?ca_s=pz_baidu&ca_n=tbmkbturl&scode=10103000312",headers=headers).content.decode()
print(html)

结果：
<!DOCTYPE html>
        <html lang="en">
            <head>
                <meta charset="utf-8">
                <script type="text/javascript">...</script>
            </head>
            <body>
            <p>正在打开中,请稍后...<e style='float:right'>2019-05-30 17:36:20</e><p>
            </body>
        </html>



用今天的技术就可以解决：
from selenium import webdriver

driver = webdriver.Firefox()
driver.get("https://www.guazi.com/zz/?ca_s=pz_baidu&ca_n=tbmkbturl&scode=10103000312")
print(driver.page_source)

结果：很OK

安装

pip install selenium==3.8.0 为了适配phantomjs

如果不适配phantomjs 直接pip install selenium

或者可以使用清华源，安装更快
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple selenium

浏览器驱动的安装

Selenium 自己不带浏览器，需要自己安装浏览器软件和驱动
一般测试阶段使用带界面的浏览器（谷歌/火狐等）：

1.谷歌浏览器下载配置：

打开如下页面：http://npm.taobao.org/mirrors/chromedriver/
把exe文件放置到自己的python环境安装目录

2.火狐浏览器下载配置：

打开如下页面：https://github.com/mozilla/geckodriver/releases

把exe文件放置到自己的python环境安装目录

3.phantomjs浏览器下载配置：

官网下载安装http://phantomjs.org/download.html
1、解压放到：C:\phantomjs-2.1.1-windows
2、需设置环境变量，Path添加C:\phantomjs-2.1.1-windows\bin

问题说明：

真正生成环境下爬取数据阶段使用无界面（PhantomJS）
但是谷歌火狐也可以设置为无头浏览器

最新版本的selenium3.11.0停止对PhantomJS的支持，需要对selenium降级
pip3 install selenium==3.8.0

有时就算这里设置环境变量，后边有可能程序运行的时候，也有可能发生找不到的情况发生
没关系我们可以直接在代码里可以设置指明路径
webdriver.PhantomJS(executable_path=“安装路径”)

知识

快速入门

Selenium 库里有个叫WebDriver 的API。WebDriver可以加载网站也可以查找页面元素，对页面上的元素进行交互(发送文本、点击等)，以及执行其他动作来运行网络爬虫。

from selenium import webdriver
import time

# 打开浏览器驱动
driver = webdriver.Firefox()

# 加载网址
driver.get("http://www.baidu.com")

# 页面源码
print(driver.page_source)

# 获取 cookie
print(driver.get_cookies())

# url
print(driver.current_url)

# 截图
driver.save_screenshot("./baidu0.png")

# 输入
driver.find_element_by_id("kw").send_keys("996")
time.sleep(2)

# 截图
driver.save_screenshot("./baidu1.png")

# 点击
driver.find_element_by_id("su").click()
time.sleep(2)

# 截图
driver.save_screenshot("./baidu2.png")

# 退出
driver.quit()

定位UI元素(WebElements)

各种方式获取元素

单个元素查找 search

# 通过属性为name的值进行过滤
find_element_by_name
find_element_by_id
find_element_by_tag_name
find_element_by_class_name

# 通过链接的文本进行过滤
find_element_by_link_text
# 通过链接的部分文本进行过滤
find_element_by_partial_link_text

# 通过xpath查找
find_element_by_xpath
# 通过css选择器查找
find_element_by_css_selector

多个元素查找 findall
find_elements_by_name
find_elements_by_id
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector


通过find_element + by的属性实现获取元素
from selenium.webdriver.common.by import By

setfElement = driver.find_element(By.ID,"setf")

获取元素属性值

元素.get_attribute('属性名')

from selenium import webdriver

# 打开浏览器
browser = webdriver.Chrome()
# 发送请求
url = 'https://www.zhihu.com/explore'
browser.get(url)
# 查找元素
logo =browser.find_element_by_id('zh-top-link-logo')
print(logo)
# 获取元素

最低0.47元/天解锁文章

狮范客

关注

1
点赞
踩
4

收藏

觉得还不错? 一键收藏
1
评论
第六章 selenium自动化测试工具：天下工具为我所用

简介Selenium是一个Web的自动化测试工具，类型像我们玩游戏用的按键精灵，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。但是被用歪了，现在一般作为破解反爬的一种手段，一般用于解决动态页面或者js加密的爬虫问题。（ps：只要有js参与页面动态生成元素的都叫动态页面）不然的话用Python 解决这个问题只有两种途径:1.直接从JavaScript 代码.
复制链接

扫一扫