paqu动态网页踩过的坑

1.今天踩了一个大坑,之前以为获取到的代码与element不一样,是由于动态网页的缘故,实际上根本就没有获取到信息,网页反爬虫,访问不到

之后注意,用requests.get来获取信息的时候,输出一下状态码,200才为正常访问

2.对于动态网页概念上的理解,昨天paqu的豆瓣网也是一个动态网页,恰好运气好,没有直接去尝试获取element源码(一般静态网络爬取的套路就是在element中找自己想要获取的信息),而是在network中的XHR部分发现了subjects这个网页中的信息正是我想要的信息

其实自己并没有发现这是一个动态网络的坑,不能直接去获取网页源代码,源代码中会缺失我们想要的内容。

而我昨天操作的时候并没有直接去获取源代码,而是找到了network里面的xhr部分,而这部分恰恰就是动态网页不断更新的部分!!所以以后在处理paqu动态网络的信息时,要考虑这个方法!

之后去观察headers下面的请求url的变化规律,通过变化规律,来得到若干个网址,根据网址进行访问,从而获得其中的信息,这个方法特别简单!

记住:动态网页的源代码是一层不变的,而element的代码是会跟着交互动作进行更新的。

如何查看网页源代码呢?用ctrl+u来看,ctrl+f进行搜索

而我们经常使用的requests.get这个方法获得的代码就是网页源代码,是没有经过javascript处理过的部分,也就是一层不变的部分,如果要获取到变化更新的信息,就需要在network中的XHR/JS中去找。

a.使用ctrl+u看到的网页源代码  百度图片 - Bing images

b.代码requests.get得到的输出数据

c 对比已经加载了一部分新图片之后的element部分的末尾代码

结论:

已经通过百度图片网站验证了,普通的用request.get获取到的动态网页代码只是 ctrl+u得到的未经过js加工的代码(即是一层不变的,可以理解为去掉javascript之后的代码),而我们通过element查看到的代码是动态变化的,往往我们需要获取的信息也是这部分

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值