新手爬虫出现报错“ no such element: Unable to locate element”

最新推荐文章于 2024-10-10 16:08:33 发布

DoctorAyuan

最新推荐文章于 2024-10-10 16:08:33 发布

阅读量1.1w

点赞数 14

文章标签： python selenium chrome

本文链接：https://blog.csdn.net/DoctorAyuan/article/details/115841484

版权

本文记录了一位Python初学者在爬取斗鱼直播板块时遇到的‘no such element: Unable to locate element’错误。通过设置等待时间和调整XPath解决了问题。文章提到了使用time.sleep()和在浏览器中复制并调试XPath来定位元素。

摘要由CSDN通过智能技术生成

新手爬虫出现报错“ no such element: Unable to locate element”

简介

来自一个自学爬虫的Python小白的经历：通过网络上的教学视频，模仿编程。由于视频资源比较老旧，技术更新较快，所以有些方面难以做到用视频教学代码成功运行。此篇只记录产生的问题，包括已经解决和未解决的。再次申明，只是小白，只是简单的记录问题。

案例：斗鱼直播板块主播页面照片地址，所属标签，热度值，以及主播名字

初始代码如下:

from selenium import webdriver
import time

class DouyuSpider:
    def __init__(self):
        self.start_url = "https://www.douyu.com/directory/all"
        self.driver = webdriver.Chrome()

    def get_content_list(self):
        # 分组
        li_list = self.driver.find_elements_by_xpath("//ul[@class='layout-Cover-list']/li")
        print(li_list)
        content_list = list()
        for li in li_list:
            item = {
   }

            item["room_img"] = li.find_element_by_xpath(