Scrapy+Selenium 获取iframe下的document

最新推荐文章于 2023-05-19 16:38:24 发布
VIP文章 最新推荐文章于 2023-05-19 16:38:24 发布
阅读量2.2k 收藏 10
点赞数
分类专栏： Scrapy 文章标签： selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38601833/article/details/103807512
版权

需求：获取iframe h3下的标题，img的源，及a标签的落地页

1577952778.jpg

需要先熟悉Selenium的同学：点击学习

使用xpath获取iframe下的内容为空，如图

<iframe data-v-5a33f2b6="" id="preview-iframe-18769" class="idea-preview-iframe" style="height: 259.817px;" frameborder="0"</
最低0.47元/天 解锁文章
所谓向日葵族
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python爬虫实战 | (21) Scrapy+Selenium爬取新浪滚动新闻-附件资源
03-02
Python爬虫实战 | (21) Scrapy+Selenium爬取新浪滚动新闻-附件资源
scrapy结合selenium解析动态页面的实现
12-16
虽然scrapy能够完美且快速的抓取静态页面，但是在现实中，目前绝大多数网站的页面都是动态页面，动态页面中的部分内容是浏览器运行页面中的JavaScript脚本动态生成的，爬取相对困难； 比如你信心满满的写好了一个...
使用selenium获取不到#document里面的网页内容的问题解决
qq_37253540的博客
05-07 5368
一、问题出现的原因 网页中有一种节点叫做iframe,相当于外部页面的子页面，它的结构和外部页面的结构是一致的。当我们使用selenium去模拟浏览器进行操作时，是默认的在父级Frame里面进行操作，但是页面中还存在子Frame，这时候是获取不到子Frame里面的节点的，也就表现在虽然在页面中有数据内容，但是使用模拟浏览器获取获取不到任何内容。 二、解决方法 # 获取#document下的...
Selenium4+Python3系列（七） - Iframe、Select控件、交互式弹出框、执行JS、Cookie操作
专研技术结交志同道合的朋友
02-06 596
突然，想把所有之前未更新的常用Api操作、演示写出来，算是对API的一种完结吧。下面按照Api模块来做逐一介绍。
selenium网页自动登录、打卡（三）
工大机器人工作室
01-20 1927
文章目录前言一、Python+Selenium二、通信环境（服务器、客户端）1. selenium借助cookie网页登录csdn2.私信发送消息流程3.将新增的逻辑融入原本的程序 前言 前面做了一个自动打卡的小程序，基本可以实现上班签到，下班签退的任务，但还是有一些限制的，比如程序需要时时刻刻的运行在电脑上(可以在下班的时候将程序跑起来，但是电脑不能关机)，这个问题对我来说其实还好，因为我下班本来就不关电脑。 另外一个比较重要的限制就是，很多时候由于网络等等莫名其妙的问题，很容易导致程序终止，总不能把
Selenium基础 — iframe表单操作
测试-八戒
10-23 2206
实际上就是HTML页面中使用标签，是在当前页面中引用了其他页面的链接，真正的页面数据并没有出现在当前页面源码中，但是在浏览器中我们时看到的。简单理解可以使页面中开了一个窗口显示另一个页面。我们在Web应用中，经常会遇到这样的iframe表单嵌套页面，Frame标签有frameset、frame、iframe三种，frameset跟其他普通标签没有区别，不会影响到正常的定位。而frame和iframe需要切换进去才能定位到其中的元素，这就相当于frame和iframe是当前页面中嵌套的其他页面。
python爬虫selenium爬不到frame 的tag标记下#document==0的内容解决
集电极
11-08 2346
python爬虫selenium爬不到frame 的tag标记下#document==0的内容解决 前言 按理来说，selenium可以获取当前页面的所有源代码，但却爬不到frame 的tag标记下#document= ，=0的内容。我理解为#document==0下的内容可能算是另一个页面了。说是页面中的嵌入页面更好一些。所以我们爬不到他里面的内容。 frame标签有frameset、frame、iframe三种，frameset跟其他普通标签没有区别，不会影响到正常的定位，而frame与iframe对
selenium 的iframe 提取 #docment
huxuan93的博客
05-19 329
【代码】selenium 的iframe 提取 #docment。
【网络爬虫】基于Selenium爬取动态网页
YangMax1的博客
12-04 9983
目录一、Selenium介绍与配置1.Selenium简介2. Selenium+Python环境配置二、网页自动化测试1.启动浏览器并打开百度搜索2.定位元素三、爬取动态网页的名人名言1. 网页数据分析2. 翻页分析3.爬取数据的存储4. 爬取数据四、爬取京东网站书籍信息五、总结六、参考 一、Selenium介绍与配置 1.Selenium简介   Selenium 是ThoughtWorks专门为Web应用程序编写的一个验收测试工具。Selenium测试直接运行在浏览器中，可以模拟真实用户的行为。支持的
Jsoup+selenium爬取iframe内容的方法
咘噜biu的博客
04-21 2262
1.引入相关依赖 <dependency> <groupId>io.github.bonigarcia</groupId> <artifactId>webdrivermanager</artifactId> <version>5.0.3</version> </dependency> <dependency> <groupId>org.seleniumhq.s
Selenium的中文手册〔转载〕
阿喵的博客
02-27 8469
Selenium中文手册 一、  Commands (命令) Action 对当前状态进行操作 失败时，停止测试   Assertion 校验是否有产生正确的值   Element Locators 指定HTML中的某元素   Patterns 用于模式匹配   1. Element Locators (元素定位器) id=id id locator 指定HTML
Selenium的使用——一篇文章带你入门Selenium
降温的博客
04-05 7519
文章目录1.准备工作2.基本使用3.声明浏览器对象4.访问页面5.查找节点单个节点多个节点6.节点交互7.动作链8.执行JavaScript9.获取节点信息获取属性读取文本值获取id、位置、标签名和大小10.切换Frame11.延时等待隐式等待显示等待12.前进和后退13.Cooikes14.选项卡管理15.异常处理 Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作等，同时还可以获取浏览器当前呈现的页面代码，做到可以见即可爬。对于一些JavaScript动态渲染的
scrapy+selenium之中国裁判文书网文书爬取
12-23
爬取框架：scrapy框架 + selenium模拟浏览器访问 开始想暴力分析网页结构获取数据，哈哈哈哈哈，天真了。看来自己什么水平还真不知道。 之后锁定pyspider框架，搞了四五天。该框架对于页面超链接的连续访问问题，...
Crystal:一个基于scrapy+selenium+phantomjs的爬虫程序，用于抓取多个学校的学术报告信息
05-12
Crystal 一个基于scrapy+selenium+phantomjs的爬虫程序，用于抓取多个学校的学术报告信息
Scrapy+Selenium+Django政府网站爬虫.zip
09-29
Scrapy+Selenium+Django政府网站爬虫
jianshu-crawl:Scrapy + selenium爬取简书全站
04-01
Scrapy + selenium爬取简书全站 环境 Ubuntu 18.04 Python 3.8 Scrapy 2.1 爬取内容 文字标题 作者 作者头像 发布日期 内容 文章连接 文章ID 思路 分析简书文章的url规则 使用selenium请求页面 使用xpath获取需要...
人工智能-项目实践-搜索引擎-使用Scrapy+Selenium+Elastic Search等一众工具实现搜索引擎，NKU信息
最新发布
02-25
使用Scrapy+Selenium+Elastic Search等一众工具实现搜索引擎，NKU信息检索课程大作业
scrapy-selenium:Scrapy中间件使用Selenium处理javascript页面
04-30
Scrapy中间件可使用Selenium处理javascript页面。 安装 $ pip install scrapy-selenium 您应该使用python> = 3.6 。 您还将需要一种与Selenium。 配置 添加要使用的浏览器，驱动程序可执行文件的路径，以及将要传递...
aqi:aqi天气信息爬虫、清洗-scrapy+scrapy-redis+selenium+pandas+matplotlib
05-02
利用scrapy+scrapy-redis+selenium爬取aqi天气网全国所有城市的天气信息近50W条scrapy主要用来做并发，非selenium渲染页面下的请求和存储io操作redis可以做增量（城市链接不做指纹）或分布式（继承scrapyredis爬虫类...
java获取iframe,Scrapy+Selenium 获取iframe下的document
06-08
对于 Scrapy+Selenium 获取 iframe 下的 document，可以使用以下代码： ```python from scrapy import Spider from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值