新手爬虫出现报错“ no such element: Unable to locate element”

本文记录了一位Python初学者在爬取斗鱼直播板块时遇到的‘no such element: Unable to locate element’错误。通过设置等待时间和调整XPath解决了问题。文章提到了使用time.sleep()和在浏览器中复制并调试XPath来定位元素。
摘要由CSDN通过智能技术生成

新手爬虫出现报错“ no such element: Unable to locate element”

简介

来自一个自学爬虫的Python小白的经历:通过网络上的教学视频,模仿编程。由于视频资源比较老旧,技术更新较快,所以有些方面难以做到用视频教学代码成功运行。此篇只记录产生的问题,包括已经解决和未解决的。再次申明,只是小白,只是简单的记录问题。

案例:斗鱼直播板块主播页面照片地址,所属标签,热度值,以及主播名字

初始代码如下:

from selenium import webdriver
import time

class DouyuSpider:
    def __init__(self):
        self.start_url = "https://www.douyu.com/directory/all"
        self.driver = webdriver.Chrome()

    def get_content_list(self):
        # 分组
        li_list = self.driver.find_elements_by_xpath("//ul[@class='layout-Cover-list']/li")
        print(li_list)
        content_list = list()
        for li in li_list:
            item = {
   }

            item["room_img"] = li.find_element_by_xpath(
  • 14
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值