Selenium爬虫常用操作+可能遇到问题

UncoDong

已于 2022-05-03 15:01:11 修改

阅读量497

点赞数

文章标签：爬虫 selenium python

于 2021-07-24 18:21:56 首次发布

本文链接：https://blog.csdn.net/weixin_42763696/article/details/119062041

版权

这篇博客介绍了Selenium的基础操作，包括八种元素定位方法如id、name、tag_name等，以及如何获取属性、打开新页面、切换窗口和关闭窗口。还涉及文件操作、错误处理策略，如处理NoSuchElementException。同时，分享了如何利用已打开的浏览器进行爬虫操作，包括设置Chrome的远程调试端口。

摘要由CSDN通过智能技术生成

Selenium基础操作

参考https://www.cnblogs.com/youngleesin/p/10447907.html

八种定位方式

通过id定位元素：find_element_by_id(“id_vaule”)
通过name定位元素：find_element_by_name(“name_vaule”)
通过tag_name定位元素：find_element_by_tag_name(“tag_name_vaule”)
通过class_name定位元素：find_element_by_class_name(“class_name”)
通过css定位元素：find_element_by_css_selector()
通过xpath定位元素：find_element_by_xpath(“xpath”)
通过link：find_element_by_link_text(“text_vaule”)
通过find_element_by_partial_link_text()

获取属性

get_attribute('href')

打开新页面


driver.execute_script(f'window.open("{link}")')

切换网页

windows = driver.window_handles    
driver.switch_to.window(windows[2])

关闭网页

driver.close()

文件相关操作

参考https://www.php.cn/python-tutorials-424348.html

1、os.path.exists(path) 判断一个目录是否存在

2、os.makedirs(path) 多层创建目录

3、os.mkdir(path) 创建目录

import os
def mkdir(path):
    if os.path.exists(path) == False:
    	 os.mkdir(path)

可能遇到问题

NoSuchElementException

遇到问题的背景：在当前页面点击下载，浏览器下载中，然后开启另一个页面。此时由于下载占了很多网，因此另一个页面一直是白色的打不开。下载完成后才能执行代码。在这时执行代码就会遇到NoSuchElementException
解决1: 使用try except

try:
    driver.find_element_by_class_name('doclistRight').find_element_by_tag_name('a').click()
except Exception as e:
    if 'NoSuchElementException' in repr(e):
        print('无法下载')
    else: 
        time.sleep(3)
        driver.find_element_by_class_name('doclistRight').find_element_by_tag_name('a').click()

解决2: 试试暂停？还没用过呢
可以参考https://www.cnblogs.com/VseYoung/p/selenium_wait_3_python.html

元素or按钮无法点击

我用的方法是找到该元素里面的herf属性，直接访问该属性的链接就可以了

使用已经打开的浏览器爬取

参考
https://blog.csdn.net/weixin_41858542/article/details/84974356
https://www.youtube.com/watch?v=Zrx8FSEo9lk&t=432s

首先以debug模式启动chrome

chrome.exe --remote-debugging-port={随便设置端口号} --user-data-dir="{指定一个路径}"

接着用代码访问

# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
 
chrome_options = Options()
chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:{刚才设置的端口号}")
chrome_driver = "{自己的路径}\chromedriver.exe"
driver = webdriver.Chrome(chrome_driver, chrome_options=chrome_options)
driver.get('https://www.baidu.com')