python使用selenium的webdriver解析网页,获取一个或者多个标签,selenium获取豆瓣数据以及selenium的元素定位类型

本文介绍了使用Python的Selenium库进行网页解析和爬虫的实践,包括元素定位的区别、XPath复制技巧及无头浏览器的运用。通过示例展示了如何获取豆瓣数据,讲解了selenium的元素定位类型。
摘要由CSDN通过智能技术生成

使用背景

从效率来讲,能用request模块得到响应是最好的,但有时候使用request得到的东西并不是自己想要的东西(搞不定),或者说想解析但是比较复杂,在这种情况下就会使用selenium

注意点和小技巧

elements和element的区别

  • 使用element元素定位方法时,注意自己找到元素是多个值还是一个值,如果是多个值但只写了和element相关的语法,只会输出找到的第一个元素,注意element是否有s
# 获取单个标签
element = dr.find_element_by_id('s-top-left')

# 获取多个标签
element_a = dr.find_elements_by_css_selector('#s-top-left ')

在这里插入图片描述

使用selenium的xpath方法的网页快速复制

  • 使用selenium的xpath方法时,可以直接复制网页中的元素,简单快捷方法为:选中元素,右键——copy——copy Xpath,输入好方法后,直接复制
# 添加前
element_x = dr.find_elements_by_xpath('')
# 添加后
element_x = d
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值