paqu动态网页踩过的坑

最新推荐文章于 2024-07-30 10:53:26 发布
最新推荐文章于 2024-07-30 10:53:26 发布
阅读量367 收藏
点赞数
文章标签： 爬虫 javascript 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eye123456789/article/details/123279870
版权

1.今天踩了一个大坑，之前以为获取到的代码与element不一样，是由于动态网页的缘故，实际上根本就没有获取到信息，网页反爬虫，访问不到

之后注意，用requests.get来获取信息的时候，输出一下状态码，200才为正常访问

2.对于动态网页概念上的理解，昨天paqu的豆瓣网也是一个动态网页，恰好运气好，没有直接去尝试获取element源码（一般静态网络爬取的套路就是在element中找自己想要获取的信息），而是在network中的XHR部分发现了subjects这个网页中的信息正是我想要的信息

其实自己并没有发现这是一个动态网络的坑，不能直接去获取网页源代码，源代码中会缺失我们想要的内容。

而我昨天操作的时候并没有直接去获取源代码，而是找到了network里面的xhr部分，而这部分恰恰就是动态网页不断更新的部分！！所以以后在处理paqu动态网络的信息时，要考虑这个方法！

之后去观察headers下面的请求url的变化规律，通过变化规律，来得到若干个网址，根据网址进行访问，从而获得其中的信息，这个方法特别简单！

记住：动态网页的源代码是一层不变的，而element的代码是会跟着交互动作进行更新的。

如何查看网页源代码呢？用ctrl+u来看，ctrl+f进行搜索

而我们经常使用的requests.get这个方法获得的代码就是网页源代码，是没有经过javascript处理过的部分，也就是一层不变的部分，如果要获取到变化更新的信息，就需要在network中的XHR/JS中去找。

a.使用ctrl+u看到的网页源代码  百度图片 - Bing images

b.代码requests.get得到的输出数据

c 对比已经加载了一部分新图片之后的element部分的末尾代码

结论：

已经通过百度图片网站验证了，普通的用request.get获取到的动态网页代码只是 ctrl+u得到的未经过js加工的代码（即是一层不变的，可以理解为去掉javascript之后的代码），而我们通过element查看到的代码是动态变化的，往往我们需要获取的信息也是这部分

 

 

eye123456789
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python 简单的爬虫爬取网页框架(爬取网页框架+实例)
qq_44472227的博客
11-06 1376
Python 这是一个基础的爬虫网页框架 Python爬取网页内容，其实大部分爬取都是在其源代码中寻找代码规律。 举个例子吧: 如：小说名的章节节数，第1~100章，我们找的话就是找第[ ]章中的[ ]内容，然后根据章节网页链接寻找规律进行跳转，把有规律的数字部分进行研究。 当然，我这次举的例子是爬取的豆瓣的top 500，网页电影名，评分，评论。 爬取效果部分 下面是代码部分: 不懂的地方...
c语言 数据结构 农夫过河
12-11
- 检查新的状态是否已经访问过，如果没有访问过且是安全的，则将其入队。 4. **路径回溯**：当找到目标状态后，利用`route`数组回溯从初始状态到目标状态的路径。 #### 四、程序实现 下面给出部分程序代码实现的...
[求助]为啥在网站右键查看的源代码和用爬虫爬出的源代码不一样,实例如下:
weixin_42167699的博客
12-22 356
所以我通过find("th", class_="common")根本就爬不出这条数据,这是为啥啊?class 由"common"变成了"new"
解决requests.get()方法返回代码与浏览器Elements选项卡不一致的问题。
yuanzhen1999的博客
03-24 7307
解决requests.get()方法返回代码与浏览器Elements选项卡不一致的问题 疫情期间无聊，玩起了Python爬虫，正好舍友让我帮忙下载一个知乎视频。这里附上链接。 [美版《黄金单身汉》拟音](https://video.zhihu.com/video/1021147135768739840) 网站本身的源码很简单。我们查看一下网页源代码。 (https://img-b...
网络爬虫 使用BeautifulSoup包解析源代码
you_right的博客
02-06 1349
使用BeautifulSoup包解析源代码 前导:BeautifulSoup自动将输入文档转换为Unicode便阿门,输出文档转换为utf-8编码 解析方式(需要借助第三方库lxml) BeautifulSoup(markup,“lxml”) markup为获得的源代码，解析后产生一个类似于文档树的东西 1. 导入包 import requests from bs4 import Beauti...
小白学 Python 爬虫（8）：网页基础
极客挖掘机
12-02 2305
人生苦短，我用 Python 前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：前置准备（三）Docker基础入门 小白学 Python 爬虫（5）：前置准备（四）数据库基础 小白学 Python 爬虫（6）：前置准备（...
paqu动态网页使用selenium被反pa（1）
eye123456789的博客
03-08 8093
目标是为了得到，该网站的免費圖庫相片 · Pexels所有图片，并分别对应保存到单独的文件夹中，其中获取得到对应的图片的标签信息以txt文件对应保存到文件中。以0，1，2，3，4.......顺序保存 效果展示： ： 过程记录： 首先想到的方法就是使用requests.get最常用的这个方法，来获取数据，然而直接面临 response.status_code的状态码是403,就此就应该考虑到这个网页是由反爬的设定的，常用方法加上hesders ,cookie,但是依旧是不能够访问的...
paqu_爬取百度图片_darkness1pp_blankhja_
09-29
标题 "paqu_爬取百度图片_darkness1pp_blankhja_" 暗示了这是一个关于使用编程技术从百度图片网站上抓取图片的项目。关键词 "darkness1pp" 和 "blankhja" 可能是作者的名字或项目的特定版本标识。文件 "new 1.py" 是...
b1fipl:编程语言的单文件实现的最佳实践
03-30
编程语言的单文件实现的最佳实践 介绍 编程语言是令人赞叹的工作。 他们将我们的单词，数字和符号变成使机器工作的位。 实施编程语言时很容易不知所措。 GNU编译器集合的长度。 太复杂了，无法学习... 由Marc Paqu
C++农夫过河问题代码
05-09
- `enQueue_seq(PSeqQueue paqu, DataType x)` 向队列中添加一个元素。 - `deQueue_seq(PSeqQueue paqu)` 删除队列头部的元素。 - `frontQueue_seq(PSeqQueue paqu)` 获取队列头部的元素。 2. **实现细节**： -...
网页显示和源代码显示不一致
热门推荐
Demonskp
08-25 2万+
最近在工作当中遇到了一个很有意思的问题。网页显示和F12当中的源代码显示不一致。   实际显示界面 开发者工具当中的代码 大家可以很明显的看到。其中价格48380-48500 这一个数据 在代码中却为 96562-96822。这就很令人困惑了，为什么网页当中的显示值和代码中的数值不一样呢？ 首先我们考虑了有可能的几种情况： 1、JavaScript更改了数值。 但是很明显不是...
element源码分析
qq_40055200的博客
01-07 1802
分析一个组件，首要要知道他有哪些功能？在什么场景下使用？ input的功能就是收集用户输入的数据传给后台程序，常见的有文本，密码，文本域 一般放在表单中，还可以配合其他组件使用 构成：DOM结构，属性，样式，事件入手 DOM结构 <div> <input /> </div> 基本结构 <template> <div> <!-- 正常 input 输入框 --> <
数据分析之数据收集
2301_76697053的博客
07-27 393
放大镜里面搜索股票关键字 - 点击出现的数据 - headers里面有网址。requests 功能get 给定网址和身份 返回给我们数据。headers={'user-agent':'浏览器标识'}其中：403 拒绝 404 网址不存在 500网址崩溃或者错误。注意: 浏览器标识就在刚才找到的网址的下面。如下是：东方财富网，实战-大A股5000+股票实时批量抓取。模块使用方法：数据=模块.功能（参数）自动采集网站上我们需要的数据。url = '网址'爬虫：请求某一个网站的数据。
浅学爬虫-python爬虫基础
LS_Ai的博客
07-29 1138
Python爬虫是指利用Python编写程序从互联网上自动获取信息的技术。爬虫广泛应用于数据收集、价格监控、内容聚合、市场分析等领域。其基本原理是模拟浏览器发送HTTP请求获取网页数据，并通过解析HTML来提取所需的信息。Python爬虫是指利用Python编写程序从互联网上自动获取信息的技术。爬虫广泛应用于数据收集、价格监控、内容聚合、市场分析等领域。其基本原理是模拟浏览器发送HTTP请求获取网页数据，并通过解析HTML来提取所需的信息。
Selenium与WebDriver：Errno 8 Exec格式错误的多种解决方案
最新发布
ip16yun的博客
07-30 320
在使用Selenium和WebDriver进行网页自动化时，可能会遇到各种错误。其中一个常见问题是执行格式错误（Errno 8 Exec format error）。这个错误通常在运行ChromeDriver时出现，错误提示涉及路径中的某个文件。本文将概述这个问题的背景，并提供多种解决方案，包括如何使用代理IP技术进行数据抓取。
import threading from flask import Flask, render_template, request from crawl.paqu import MultiThreadHotDataSpider, MultiThreadSpecialDataSpider,HKConnectSpider,DataStorage app = Flask(__name__) hot_data = [] special_data = [] hkconnect_data = [] @app.route('/') def index(): return render_template('index.html') @app.route('/hot') def hot(): return render_template('hot.html', hot_data=hot_data) @app.route('/special') def special(): return render_template('special.html', special_data=special_data) @app.route('/hkconnect') def hkconnect(): return render_template('hkconnect.html', hkconnect_data=hkconnect_data) @app.route('/start_spider') def start_spider(): def spider(): global hot_data, special_data, hkconnect_data hot_spider = MultiThreadHotDataSpider() hot_data = hot_spider.get_data() special_spider = MultiThreadSpecialDataSpider() special_data = special_spider.get_data() hkconnect_spider = HKConnectSpider() hkconnect_data = hkconnect_spider.parse(hkconnect_spider.start_urls[0]) data_storage = DataStorage() data_storage.insert_hot_data(hot_data) data_storage.insert_special_data(special_data) data_storage.insert_hkconnect_data(hkconnect_data) t = threading.Thread(target=spider) t.start() return '爬虫已经开始' if __name__ == '__main__': app.run(host="0.0.0.0",debug=True)写出以上代码的前端html实现代码
05-24
由于没有给出index.html、hot.html、special.html和hkconnect.html的具体内容，我无法直接提供完整的实现代码。但是可以给你一个参考的思路： 在index.html中添加一个按钮，点击可以触发start_spider路由的访问。例如： ```html <!DOCTYPE html> <html> <head> <title>爬虫数据展示</title> </head> <body> <h1>爬虫数据展示</h1> <p>点击下面的按钮开始爬虫</p> <button onclick="startSpider()">开始爬虫</button> </body> <script> function startSpider() { var xhr = new XMLHttpRequest(); xhr.open('GET', '/start_spider'); xhr.send(); alert('爬虫已经开始'); } </script> </html> ``` 在hot.html、special.html和hkconnect.html中分别展示对应的数据。例如： ```html <!DOCTYPE html> <html> <head> <title>热门数据展示</title> </head> <body> <h1>热门数据展示</h1> <table> <thead> <tr> <th>标题</th> <th>链接</th> <th>阅读量</th> </tr> </thead> <tbody> {% for item in hot_data %} <tr> <td>{{ item.title }}</td> <td>{{ item.link }}</td> <td>{{ item.read_count }}</td> </tr> {% endfor %} </tbody> </table> </body> </html> ``` 其他两个页面的HTML代码类似，只需要将数据展示的表头和tbody里面的数据项替换成对应的数据即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值