Selenium库自动化测试入门

 前言

为什么要学selenium？？前面已经学了requests库我们会发现

对于绝大多数动态渲染的网页来说，用requests进行爬虫比较繁琐。

所以我们还是要学习一下selenium库，以帮助我们更高效的爬取网页。

环境：

pychar 2020.1 x64版本

谷歌浏览器驱动，需要根据自己的谷歌浏览器版本所对应的驱动进行下载。

selenium库，如果没有安装，可以在pychar终端输入 pip install selenium。

这是我没有安装之前的，可以使用pip list命令来查看自己有没有安装selenium库

这是安装之后的，可以看到selenium库已经安装完成了。

下面进行简单的代码测试。咱们用淘宝网址和百度来进行测试。

from selenium import webdriver
import time
from selenium.webdriver.common.by import By
#浏览器驱动
bro=webdriver.Chrome()
#目标网址
bro.get('https://www.taobao.com')
#标签定位
s_input=bro.find_element(By.ID,'q')
#内容（key）输入
s_input.send_keys('java')

#标签定位
btn=bro.find_element(By.CLASS_NAME,'btn-search')
#点击事件
btn.click()

#垂直滚动2000xp
bro.execute_script('window.scrollTo(0,2000)')
time.sleep(2)
bro.get('https://www.baidu.com')
time.sleep(2)
bro.back()
time.sleep(2)
bro.forward()
time.sleep(2)
bro.quit()#释放内存

最后附录一个比较官方的解释，selenium和requests的区别

Selenium 和 Requests 是两个用于 Web 爬虫和自动化的 Python 库，它们之间有一些主要区别：

1. 工作方式：
   - Selenium：Selenium 是一个自动化测试工具，主要用于模拟用户与浏览器的交互。它通过控制 Web 浏览器（如 Chrome、Firefox）来加载网页并与网页元素进行交互。这使得它能够处理 JavaScript 生成的动态内容和与 Web 页面上的表单、按钮等元素进行交互。
   - Requests：Requests 是一个用于发送 HTTP 请求的库。它可以模拟发送各种类型的请求（如 GET、POST、PUT 等）并处理响应。Requests 主要用于获取网页的 HTML 内容，不能直接处理 JavaScript 生成的动态内容。

2. 性能：
   - Selenium：由于 Selenium 使用真实浏览器加载页面，因此在处理动态内容和需要与页面元素交互的场景下性能较低。此外，使用真实浏览器还需要额外的资源（如浏览器安装、驱动程序等）。
   - Requests：Requests 直接发送 HTTP 请求并获取 HTML 内容，因此性能较高。但是，它不能处理 JavaScript 生成的动态内容。

3. 处理 JavaScript：
   - Selenium：Selenium 可以很好地处理 JavaScript 生成的动态内容。
   - Requests：Requests 无法直接处理 JavaScript 生成的动态内容。但是，可以结合其他库（如 BeautifulSoup、PyQuery 等）来解析 HTML 内容。

4. API 使用：
   - Selenium：Selenium 提供了丰富的 API，可以用于查找、定位和操作网页元素。
   - Requests：Requests 主要用于发送 HTTP 请求和处理响应。它不提供用于查找和操作网页元素的 API。

总之，Selenium 更适合用于需要模拟用户与浏览器交互的场景，例如处理动态内容、与表单和按钮等元素交互。而 Requests 更适合用于简单的数据抓取任务，例如获取网页的基本内容。在实际应用中，根据需求和场景选择合适的库。