selenium爬虫select下拉框的选项

最新推荐文章于 2023-04-21 19:57:30 发布

魁拔3903

最新推荐文章于 2023-04-21 19:57:30 发布

阅读量1.4k

点赞数 5

CC 4.0 BY-SA版权

分类专栏：爬虫

本文链接：https://blog.csdn.net/weixin_43342341/article/details/110110210

本文介绍如何使用selenium库处理网页中的select下拉框，通过索引、值和可见文本三种方式选择选项。以农产品类型和产品名称为例，详细展示了选择过程，并提供了相关代码示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我要收集的数据是这个网站:农产品类型和产品名称

图1 虽然是二级下拉框,但是跟一个下拉框的情况是一样的。

讲在前面
这个网页一进来会有一个提示:alert("输入验证码！")
这个在selenium面前还是比较好办的,代码如下:

# 源网址
url="http://nc.mofcom.gov.cn/channel/jghq2017/price_list.shtml"
driver = webdriver.Chrome()
driver.get(url)     # 打开有alert弹框的HTML页面
driver.implicitly_wait

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

魁拔3903

关注关注

5
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

selenium之下拉选择框

LYX_WIN

08-20

1万+

一、前言 selenium的下拉选择框。我们通常会遇到两种下拉框，一种使用的是html的标签select，另一种是使用input标签做的假下拉框。后者我们通常的处理方式与其他的元素类似，点击或使用JS等。而对于前者，selenium给了有力的支持，就是Select类。进行测试的网站：http://sahitest.com/demo/selectTest.htm 网页及对应源码：二、关于导入方式两种导入方式： from selenium.webdriver.support.ui imp

selenium+ java 下拉框—— 获取下拉框选项的值

qq_36969649的博客

11-16

3082

关键代码： //切换frame driver.switchTo ( ).frame ( "i" ); //根据元素定位找到select标签 Select level = new Select ( driver.findElement ( By.tagName ( "select" ) ) ); ...

参与评论您还未登录，请先登录后发表或查看评论

Python爬虫之Selenium下拉框处理的实现

01-19

在我们浏览网页的时候经常会碰到下拉框，WebDriver提供了Select类来处理下拉框，详情请往下看：本章中用到的关键方法如下： select_by_value()：设置下拉框的值 switch_to.alert.accept()：定位并接受现有警告框(详情请参考Python爬虫 – Selenium（9）警告框(弹窗)处理) click()：鼠标点击事件(其他鼠标事件请参考Python爬虫 – Selenium（5）鼠标事件) move_to_element()：鼠标悬停(详情请参考Python爬虫 – Selenium（5）鼠标事件) from selenium im

selenium之下拉选择框Select

热门推荐

灰蓝

08-18

9万+

今天总结下selenium的下拉选择框。我们通常会遇到两种下拉框，一种使用的是html的标签select，另一种是使用input标签做的假下拉框。后者我们通常的处理方式与其他的元素类似，点击或使用JS等。而对于前者，selenium给了有力的支持，就是Select类。我们要进行试验的网站：http://sahitest.com/demo/selectTest.htm网页与源码截图如下：1.导入（im

python爬虫获取下拉框选中值

gorgeousyyy的博客

12-07

1806

item['xb'] = response.xpath('//*[@id="Sex"]/option[contains(@selected,"selected")]/@value').extract_first()

python下拉菜单_基于selenium及python实现下拉选项定位select

weixin_39665787的博客

11-26

431

1、Select元素2、定位select方法一：二次定位先定位 select 框，再定位 select 里的选项但有时候选项是无法定位的，所以不是很好用方法二：直接定位定位到 select 后，下方查看元素属性地方，点 select 标签前面的+号或者箭头，就可以展开里面的选项内容了。自己写 xpath 定位或者 css,一次性直接定位到 option 上的内容。方法三：Select 模块(ind...

selenium之select

liucaixin2016的博客

10-25

3298

selenium之select

关于用selenium爬虫爬取带有下拉框的网站无法爬取到文本的问题

菜鸡小陈的博客

04-22

701

目标网站是：https://wp.m.163.com/163/page/news/virus_report/index.html?_nw_=1&_anw_=1 我原先的想法是： url = "https://wp.m.163.com/163/page/news/virus_report/index.html?_nw_=1&_anw_=1" browser = Firefox() browser.get(url) internal = browser.find_elements_by_x

selenium基础：select下拉框

a10245688的博客

12-15

343

我们接着讲selenium元素操作：鼠标操作和select下拉框 select下拉框 做自动化过程中，遇到下拉框的情况还是挺多的，一般分为select类型的下拉框和input类型的假下拉框。对于input类型的下拉框，处理思路是展开下拉列表，等待选择的元素出现，选择下拉框中的元素。这篇博客我们只重点讲select类型的下拉框，借助Select类首先导入Selec...

(7) selenium之select操作

qq_37294982的博客

07-27

677

select 下拉表单操作方法一：1.先定位到select,然后定位到option 方法二：调用select方法，实例化一个对象，然后调用select_by_value方法，还有index方法，text方法，可参考源代码 from selenium.webdriver import Chrome from selenium.webdriver.support.wait import WebDri...

python爬取下拉列表数据_python 抓取下拉列表控制的表格的所有数据

weixin_40007668的博客

02-21

1742

目标是抓取所有选项下的表格数据。用开发者工具查看表格及选项框的构造： 下拉框是标签组成的，用js实现动态切换，靠selenium很难实现定位和模拟点击。解决方法：分析页面网络请求流，尝试抓取服务器返回给客户端的数据。选用方法步骤简述：先打开开发者工具，点击网络，此时点击切换省份，可以查看到请求流，其中类型为html的是我们需要的信息。点击的过程是客户端向服务器发送请求的过程，后面的分数就是服务器...

selenium---下拉框处理（select）

Asaasa1的博客

09-01

820

web自动化中，常见的场景还有一个下拉框的选择，哪么在selenium中如何做下拉框的操作呢？ select select在HTML中表示元素名，可创建单选或多选菜单。 HTML中select长什么样子： select在HTML中元素名，下面有选择操作，选择内容在select中包含 <html> <body> <form> <center> <select name="anjing"> <option value="boke">请关

selenium:select下拉框

m0_75092189的博客

04-21

2402

下面代码中第一个option的text开头有三个空格，第二个option的text中间包含三个空格，第三个option的text中包含了3个’ ’。在HTML中“ ”和空格的区别是，在HTML中没输入一个转义字符’ ’就表示一个空格，输入10个页面就显示10个空格位置。而在HTML代码中不管输入多少个空格，最终页面中显示的空格就只有一个。Note:我们会发现不管先选中的时哪一个选项，使用first_selected_option方法时返回的都是最上面那个选项。练习需求：循环选择o1,o2,o3。

Selenium基础篇之Select下拉列表选择

业余Python爱好者

03-28

5046

Selenium基础篇之Select下拉列表选择。

Selenium-select选框报错（element is not attached to the page document）记录

oqqChin12的博客

03-30

859

记录一下自动化测试中遇到的select选框点击问题 1.先贴代码 #打开谷歌浏览器 driver=webdriver.Chrome(); #driver.fullscreen_window(); #输入百度网站 driver.get('https://www.google.com/'); #driver.find_element_by_xpath("//*[@id='tsf']/div[2]/di...

Selenium中下拉框处理（Select模块）

patmos

10-17

1539

Selenium中下拉框处理（Select模块）导入select模块 from selenium.webdriver.support.select import Select webdriver提供了一个Select模块来专门对下拉框进行处理，使用时需要导入Select模块其中有三种定位选项的方法： select_by_index()：索引定位（从0开始） select_by_value()：value属性定位 select_by_visible_text()：选项的文本属性 visible_tex

爬虫选择框处理

sxf_123456的博客

01-06

1143

1、单选框 s = driver.find_element_by_id("boy").is_selected() print s driver.find_element_by_id("boy").click() # 点击后，判断元素是否为选中状态 r = driver.find_element_by_id("boy").is_selected() print r 2、复选框...

python爬虫selenium之选择下拉列表的两种方式

Claire_chen_jia的博客

06-03

7484

本篇博文仍以https://www.17sucai.com/pins/demo-show?id=5926，这个网址示例如何进行下拉列表的选项选择。选择下拉列表的时候，存在两种情况。第一种是有select标签的，这种情况下可以通过from selenium.webdriver.support.ui import Select方式实现，如图片情形。但也存在没有select标签的下拉列表，这时候就需要我们手动链接到该位置。如图片情形所示，就是a标签，不是select标签，无法通过from selenium.

python爬虫选中下拉框中的数据