Python爬虫——Selenium 定位节点及获取节点信息

Python爬虫——Selenium 定位节点及获取节点信息

1、定位节点

当我们想要操作一个节点时，必须先找到这个节点，通过 Selenium 提供的定位节点的方法可以获取到想要的节点，获取节点后可以选择是执行下一步动作（如填充表单、模拟点击等）还是提取数据。

Selenium 4 之前使用 find_element_by_*() 方法定位节点，Selenium 4之后使用 find_element()方法。

使用find_element_by_*() 方法只需导入 from selenium import webdriver，使用 find_element() 方法除了导入 from selenium import webdriver ，还要导入 from selenium.webdriver.common.by import By。

Selenium4 提供了 8 种定位（单）节点的方法，如下表所示：

方法	说明
find_element(By.ID)	通过 id 属性值定位节点
find_element(By.NAME)	通过 name 属性值定位节点
find_element(By.CLASS_NAME)	通过 class 属性值定位节点
find_element(By.TAG_NAME)	通过 tag 标签名定位节点
find_element(By.LINK_TEXT)	通过<a>标签内文本定位节点，即精准定位。
find_element(By.PARTIAL_LINK_TEXT)	通过<a>标签内部分文本定位节点，即模糊定位。
find_element(By.XPATH)	通过 xpath 表达式定位节点
find_element(By.CSS_SELECTOR)	通过 css 选择器定位节点

find_element找的是第一个符合条件的节点，

如果要查找所有符合条件的标签，需要用 find_elements，find_elements 的返回值是列表类型，可以用for循环遍历里面的节点。

定位节点使用实例

from selenium import webdriver
from selenium.webdriver.common.by import By

# 创建浏览器对象并访问网站
browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)

# 根据 id 定位
browser.find_element(By.ID,'su')

# 根据 name 定位
# 返回第一个元素
browser.find_element(By.CLASS_NAME,'fenlei')
# 返回所有元素
browser.find_elements(By.CLASS_NAME,'fenlei')

# 根据 class 定位
browser.find_element(By.NAME,'title-text c-font-medium c-color-t')
browser.find_elements(By.NAME,'title-text c-font-medium c-color-t')

# 根据标签名称定位
browser.find_element(By.TAG_NAME,'input')
browser.find_elements(By.TAG_NAME,'input')

# 使用链接文本定位超链接
browser.find_element(By.LINK_TEXT,'index')
browser.find_elements(By.LINK_TEXT,'index')
browser.find_element(By.PARTIAL_LINK_TEXT,'index')
browser.find_elements(By.PARTIAL_LINK_TEXT,'index')

# 使用 xpath 定位
browser.find_element(By.XPATH,'//input[@id="su"]')
browser.find_elements(By.XPATH,'//input[@id="su"]')

# 使用 CSS 选择器定位
browser.find_element(By.CSS_SELECTOR,'#su')
browser.find_elements(By.CSS_SELECTOR,'#su')

# 关闭浏览器
browser.close()

2、获取节点信息

使用get_attribute()方法获取节点中指定属性的属性值，参数为节点中的属性

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)

# 定位节点
element = browser.find_element(By.ID,'su')

# 获取class的属性值
print(element.get_attribute('class'))
# 获取id的属性值
print(element.get_attribute('id'))
# 获取type的属性值
print(element.get_attribute('type'))
# 获取value的属性值
print(element.get_attribute('value'))

browser.close()

定位到的节点：

执行结果：

bg s_btn
su
submit
百度一下

使用 .tag_name 方法获取节点的标签名

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)

# 定位节点
element = browser.find_element(By.ID,'su')
# 获取节点的标签名
print(element.tag_name)

执行结果：

input

使用 .text 获取节点文本，没有文本则不返回

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)
# 根据a标签的文本定位节点
element1 = browser.find_element(By.LINK_TEXT,"地图")
# 获取节点内容
print(element1.text)
browser.close()

定位的a标签：

执行结果：

地图

使用.size 获取节点的大小（也就是宽高）

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome()
url = "https://www.baidu.com"
browser.get(url)

element1 = browser.find_element_by_link_text("地图")
# 获取节点的宽高
print(element1.size)
browser.close()

执行结果：

{'height': 23, 'width': 26}