selenium基本使用、无头浏览器(chrome、FireFox)、搜索标签

我每天都好饿

已于 2023-11-09 08:39:22 修改

阅读量1.2k

点赞数

于 2023-11-08 20:56:35 首次发布

本文链接：https://blog.csdn.net/qq_44779250/article/details/134294505

版权

本文介绍了selenium的基本使用，包括如何操作浏览器、模拟登录，以及深入讲解了无头浏览器在chrome和Firefox上的应用。此外，还详细探讨了selenium中搜索标签的各种方法，如按id、name、类名、css选择器和xpath寻找元素，并展示了获取元素属性、文本、大小和位置的技巧。

摘要由CSDN通过智能技术生成

selenium基本使用

这个模块：既能发请求，又能解析，还能执行js

selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行
JavaScript代码的问题

selenium 会做web方向的自动化测试
appnium 会做 app方向的自动化测试

selenium 可以操作浏览器，模拟人的行为

使用浏览器

下载浏览器驱动（chrome）：
- https://registry.npmmirror.com/binary.html?path=chromedriver/
- https://googlechromelabs.github.io/chrome-for-testing/
- https://edgedl.me.gvt1.com/edgedl/chrome/chrome-for-testing/119.0.6045.105/win64/chromedriver-win64.zip
- 火狐驱动：https://github.com/mozilla/geckodriver/releases/
- 跟浏览器型号和版本一一对应的
  ie，火狐，谷歌：谷歌为例
  谷歌浏览器有很多版本：跟版本一一对应
将驱动放到python解释器目录下，或者配置环境变量
下载模块：pip install selenium
写python代码，操作浏览器

import time
from selenium import webdriver

# 跟人操作浏览器一样，打开了谷歌浏览器，拿到浏览器对象
bro=webdriver.Firefox()

# 在地址栏中输入地址
bro.get('https://www.baidu.com')
time.sleep(5)
bro.close()

指令

bro为实例化所得对象

在地址栏中输入地址：bro.get('网址地址')
关闭浏览器：bro.close()
设置等待：bro.implicitly_wait(10)，从页面中找标签，如果找不到，就等待
页面最大化：bro.maximize_window()
当前页面html内容：bro.page_source)
选择器：
from selenium.webdriver.common.by import By
- 找一个：bro.find_element(by=By.选择器,value='')
- 找所有：bro.find_elements(by=By.选择器,value='')
点击：找到的标签.click()
文本框写入：找到的标签.send_keys