获取iframe嵌套页面的数据_爬虫学习十二之案例开发获取搜索页面数据

最新推荐文章于 2024-04-07 17:14:27 发布
最新推荐文章于 2024-04-07 17:14:27 发布
阅读量441 收藏
点赞数
文章标签： 获取iframe嵌套页面的数据 获取select2选中的值 获取选中的li的值

准备一个定时任务

准备一个运行类

fb9f646916bdf41b860402859245bddd.png

将之前封装的HttpClient拿过来，放到一个utils包中

a3046f0adf8ed1ed0a6d2be0e323efb6.png

编写定时类的定时方法

0a3abca8d3cdc61dcc8b510a3ad2cf1e.png

我们在京东中搜索手机，可以看到URL

aeb08bca9f849da074230f136fcc02f1.png

点击下一页，观察URL的变化

a42e0d43a322116085fb95fe679135c0.png

其中page这个参数，我们发现

Page=1是第一页

Page=3是第二页

Page=5是第三页

这就是页码的判断参数

我们开始编写代码

首先声明解析的初始地址

1c7cbc6bdabc5d0a242c72afe7dd9b63.png

写一个循环，循环页码(8示例数据，学习为主)

928ee8203e5a77818a46de82020a9011.png

在开发者工具中查看下页面结构，下面这些就是页面中的商品

e89c3468fd5176c74568240dcf2bb9a5.png

可以找到sku和spu

dd939864e201bf8a1041537321a440a3.png

那我们来抓取这些数据

先准备一个HttpClient

4996b22eff6c784ba6320897e60e3ae4.png

搜索页面(这个地方循环的初始值变为1，之前写错了)

1dfc823855bcbe34003347d624f120e2.png

解析页面

创建一个解析方法，这个方法完成页面解析

2ffd5ba72d5b2a3c47e03d5d91f67164.png

基本思路是：首先获取spu，然后根据spu获取sku

分析页面先获取这个div,id是goodsList,然后根据这个div找到子元素ul，然后找到li

6f13b69fc61910405d3982f8ca64d904.png

所以获取代码

ae3b53f764e48ff837a0fee11fe18303.png

获取spu

62aa8a1e927db481991f66e13c0102d6.png

获取sku

分析页面，找到ps-item

4e699aaa7e52bca740d88c901ac7cf0a.png

所以代码

c9b41d90c5936c58c8cc156924ec8654.png

其中sku的值

80e9aa8d7cb5a505f8631a3b5070f37f.png

所以代码

10cc7163fa71201ea48d45e02f069650.png

然后我们将数据保存到数据库中

先声明Service

e63d0ed57fa7a6f0c38c261192b9620a.png

根据sku查询商品数据，如果存在，后续数据就不用查询解析了

70970b8d37a7f3389d0fb4e470e0c2af.png

设置完商品spu，继续解析商品详情url

4c373bd0d2f035e37828cc1510814256.png

之前我们发现这个是由sku拼接成的

0084a1f0424869c3c4da7ea16d9a7b63.png

代码，完成拼接

f3df1dd08bce619503576de2796b0201.png

继续获取商品的图片，这个地方注意，在开发者工具和源代码中看到的不一样，所以代码要经常调试，开发者中是src而源码中是data-lazy-img,我们使用data-lazy-img

dbc3a0176172b314e4b0e466229256c2.png
3a336e4839f7f4c8ea1d90644603f2c7.png

代码

e581ef9b77e060d41cc6ed19c21c21a7.png

其中因为图片大小的问题，需要做一个替换

这个图片很小

3216ed0be29a668ee36cfc6a04c6e23e.png

改成1就可以了

a524cf6e69aa72de9c93361e87155ad8.png

所以代码替换下，最后保存图片

2003b540fd71dc4da9bfd094b7e8cdb8.png

获取商品的价格

因为价格选中不同的价格不同

5abfa7bcddc504efaf0795a407ae9f33.png
10ac9c499fa45ceb18e395248a36949c.png

我们调出开发者工具看一下，发现有新的请求

c833bd549d3ef72cd633887970e80f66.png

所以要重新请求，我们看一下

6fb2d776d8af9ca863d5704aad014424.png

访问下，可以得到数据

1057ac4c6a1bdc739a0ca686fd0f582c.png

简化下Url

114dde132822df5e47b63327580bfd08.png

代码实现，获取到Json数据

b91e8f3e963ad0b5818ffec74d6f6de2.png

解析Json

先声明一个对象

461fd6d505140e2a8afc9bea0a05563e.png

解析数据

4ce9077e414572cc99253113ddad0501.png

获取商品标题，先进入详情页获取标题

fc8e99bedc9428a98b2244ec84d6fe29.png

代码

319f322069376fe8bde2346831065259.png

这是获取完页面了，接下来分析里面的内容

af165aee3d41af7caddcc5cbde683c99.png

所以代码

604e2060d84b4ff07f942ac8e406a4f5.png

设置创建和更新时间

eff06883be4927a6cbdab1617bd06d12.png

终于可以保存了

54b7c229de26e8d3643f209688d75a44.png

之前忘了补充事务注解了

aaa7caa13c9444ca8f5bb042750145eb.png

调用方法

2ced1b1f5a604fc9dbba416749f14a0a.png

调试下程序，看是否有错误的地方

发现总是访问不到，显示页面信息

dd2c2eb182877d1c5290a6087f76ea25.png

所以设置请求头消息User-Agent模拟浏览器

httpGet.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0");

7f5d170ac8006bc35b5c25ddd7526389.png

写错地方

72f047550b22cd9e04f2e4d7e7418b2c.png
bddf6424b2dd4ac9d0ad33cd95d9b44d.png
f9b5ac24c1870dbfb3bddc14048ef9b0.png

可以获取数据了

98e098bab5b61784641427bf511b0ecd.png
weixin_39911066
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
iframe嵌套页面_网络爬虫|网页中嵌套iframe框架内容爬取的两种思路
weixin_39623750的博客
12-01 1997
本文只介绍解决相应问题的解决思路，做技术分享，请勿滥用，否则后果自负。前言最近在网站看书的时候，遇到了一种iframe嵌套的网站，然后就习惯性的考虑了进行数据获取的时候应该如何解决。分析 进入网站点击下一页发现地址栏并不发生变化，但是改变地址栏的相应页面数字的时候小说的页数能够随着变化，我觉得很大可能是ajax绑定了数据。之后打开f12审查元素，又打开网页源码进行查看网页源码进行比较，发...
Python简易爬虫以及嵌套数据类型
思緒凌亂
04-07 2680
一：起因 （0）爬虫就是网络蜘蛛，爬取指定URL的html网页的内容，所以会需要urllib2包，字符串string的操作肯定也是需要的，以及字符串匹配包re。 （1）Python的嵌套类型，一般在基础教程里面很少涉及到的；Python的更高级应用肯定会涉及的，只是个人能力有限，如今没有深入，期待不就将来接触学习一下。 （2）说起嵌套类型，这要从Java 或则 c++的嵌套类型说起，只要你处
通过Iframe在A网站页面内嵌入空白页面的方式，跨域获取B网站的数据返回给A网站！...
weixin_30260399的博客
11-25 1840
以下代码只是为演示该方法具体是如何操作的，实际的意义并不大。 其实这个方法还可以解决很多方面的跨域操作，以下两点为我工作中遇到的情况！ 比如A系统中打开B系统页面的时候，获取B系统页面高度，A系统中可以动态设置窗口的高度 还有A系统中打开B系统页面的时候，B系统页面进行一系列操作，操作成功后需关闭A系统窗口，就可以在操作成功后再在B系统中嵌入A系统的blank.html页面，blank.ht...
html如何获取iframe中嵌套的页面元素值,javascript 获取iframe里页面中元素值的方法...
weixin_29232121的博客
06-05 1245
IE方法：document.frames['myFrame'].document.getElementById('test').value;火狐方法：document.getElementById('myFrame').contentWindow.document.getElementById('test').value;IE、火狐方法：function getValue(){var tmp = ...
页面与内嵌iframe的数据通信
lucky_zouzou的博客
01-25 1708
例如A页面里的iframe套的B页面，B页面获取A页面的数据 1.通过url,参数拼接 2.通过postMessage方法，此方法可以建立不同 origin 的两个窗口之间的双向数据通信
Python爬虫之Selenium中frame/iframe表单嵌套页面
01-19
在Web应用中经常会遇到frame/iframe表单嵌套页面的应用，WebDriver只能在一个页面上对元素识别与定位，对于frame/iframe表单内嵌页面上的元素无法直接定位。这时就需要通过switch_to.frame()方法将当前定位的主体...
在vue中实现嵌套页面(iframe)
10-15
在Vue.js中实现嵌套页面通常涉及到使用`iframe`元素来加载外部网页或者内部组件。`iframe`允许我们在一个Vue应用中嵌入另一个独立的HTML文档，这对于展示第三方内容、实现某些特定功能或者处理复杂交互场景时非常...
基于iframe实现ajax跨域请求 获取网页中ajax数据
10-22
主要介绍了基于iframe实现ajax跨域请求，并获取网页中ajax数据，如何利用网页ajax请求暴露出来的接口去抓取网页数据？需要的朋友可以参考下
iframe内容适应div大小_html如何嵌套页面？iframe标签告诉你答案
weixin_39560207的博客
12-01 984
本篇文章主要为大家介绍了html iframe标签的介绍，让大家知道怎么通过iframe标签来为网页嵌套页面，内容很简单，大家照着这上面的来，多实践几次就懂了。希望大家都能好好学习，现在让我们来看这篇文章吧。在这里首先介绍的是HTML中iframe标签的用法：怎么 在一个网页中嵌入另一个网页呢，我们可以用html中的iframe标签搞定。iframe支持所有浏览器。下面来看语法：> <...
Python爬虫解析多级嵌套json
William_GJIN的博客
03-03 3230
Python爬虫解析多级嵌套json 最近刚接触Python爬虫，正好最近肺炎在全国蔓延，所以准备从网站爬取肺炎实时数据，并解析自己想要的数据。获取json数据网址为 https://m.look.360.cn/events/feiyan 爬取网址： def main(): url='https://m.look.360.cn/events/feiyan' headers = {...
读取页面传的数据
weixin_30898109的博客
11-12 63
　　从流中读取传递的参数: 　　 //一个例子: @RequestMapping(value = "/exportSeller",method = {RequestMethod.POST,RequestMethod.GET})public String exportSeller(HttpServletRequest request, HttpServletResponse...
爬虫 - iframe处理+动作链
qq_33962481的博客
05-01 342
文章目录一、iframe二、动作链1.ActionChains的使用2. 拖动div 一、iframe 如果定位的吧标签是存在于iframe标签之中的, 则必须通过如下操作在进行标签定位 from selenium import webdriver bro = webdriver.Chrome(executable_path="./chromedriver.exe") bro.get("https://www.runoob.com/try/try.php?filename=jqueryui-api-dr
python网络爬虫（第七章：iframe处理+动作链）
qq_38633279的博客
08-10 2024
1.selenium处理 iframe 一张页面当中可以嵌套一张子页面，可是通过iframe标签实现子页面的嵌套 https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable iframe标签中的标签定位和一般的网页标签定位的区别是： 一般的网页标签定位：driver.find_element_by_id('XXX') iframe标签中的标签定位： driver.switch_to.frame('AAA') driver.find
iframe加载完成获取元素_完全使用浏览器扩展完成的爬虫
weixin_32685145的博客
01-20 581
在给一个初学者讲爬虫的时候, 我为其演示了直接使用Chrome Console获取大部分数据, 之后打算顺着这条路走下去, 没想到坑真的是多. 但是话已经说下去了, 因而我必须用Chrome所有内置的功能完成一个爬虫. 遂得此篇.最初我打算用Sources里的Snippets来做, 写完了才发现刷新了代码就会结束掉, 因此必须得保证代码能够持续进行.一个很自然的想法就是使用window.open或...
java+iframe+爬虫,网络爬虫（十六）selenium处理iframe
weixin_39631261的博客
03-10 259
selenium处理iframe如果定位的标签在iframe中,必须使用swith_to.frame(id)动作链: from selenium.webdriver import ActionChains实例会动作链执行相关动作释放动作链from selenium import webdriverfrom time imprt sleepbro=webdriver.Chrome(executabl...
爬虫处理iframe的方法
zangbianer的博客
09-21 1万+
iframe是前端内嵌页面，访问域名与主网页不同，requests请求无法获取，技术可以的话，可以从解析js抓取iframe域名，要技术过硬啊，需要的参数很多以后再说 上代码 #!/usr/bin/python3 # -*- coding: utf-8 -*- from selenium import webdriver browser = webdriver.Chrome('./chrom...
【日常】关于爬虫中iframe节点处理小结（以超星课件下载为例）
热门推荐
一只热爱奔跑的程序猿
10-12 1万+
随便写点东西
【爬虫基础】第25讲 定位iframe中的对象
最新发布
a272329874a的博客
04-07 336
下面的代码中frame.html 里有个id 为f1 的frame，而f1 中又嵌入了id 为f2 的frame，该frame 加载了百度的首页。driver.switch_to.frame(iframe_element) # 切换到指定的 iframe。driver.switch_to.frame("iframe_name") # 通过名称定位。driver.switch_to.frame("iframe_id") # 通过 ID 定位。# 在 iframe 中进行操作。
转自简书：关于iframe嵌套页面用法
鹅弍的博客
05-03 577
1.在HTML中写入iframe标签 <iframe name="my-iframe" id="my-iframe" src="初始显示的页面或者图片" frameborder="边框（一般为0）" width="宽" height="高" scrolling="是否滚动（一般为“no”）"></iframe> 2.在HTML中写入a标签，当点击a标签时，子页面跳转到所需的页面 <a href="要跳转的页面l" target="my-iframe">点击我子网页可
vue 给嵌套的iframe子页面传数据 postMessage
05-24
是的，可以使用 postMessage API 在 Vue 中给嵌套的 iframe 子页面传递数据。 具体步骤如下： 1. 在父组件中，使用 ref 获取 iframe 元素，例如： ``` <iframe ref="myIframe" src="子页面地址"></iframe> ``` 2. 在父组件中，定义一个方法来发送数据到子页面： ``` sendMessage() { const iframe = this.$refs.myIframe; const data = { message: 'hello' }; iframe.contentWindow.postMessage(data, '子页面地址'); } ``` 3. 在子页面中，监听 message 事件，接收父页面传递的数据： ``` window.addEventListener('message', (event) => { if (event.origin !== '父页面地址') return; const data = event.data; console.log(data.message); // 输出：hello }); ``` 4. 在子页面中，使用 postMessage 回传数据到父页面： ``` const data = { message: 'hi' }; parent.postMessage(data, '父页面地址'); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值