爬取网站页面与浏览器显示不一致

欲爬取网页链接
scrapy爬虫爬取该页面时的响应如下:
在这里插入图片描述
而此时,测试使用requests.get获得网页源代码长度如下:
在这里插入图片描述
此网站其他页面也出现上述问题,我按照浏览器的显示情况,用xpath定位的元素节点,再响应中的源代码中查询不到,如下:
在这里插入图片描述
将响应中的源代码另存为.htm文件后,再用浏览器打开显示如下:
在这里插入图片描述
网页结构完全不一样,最下角看到‘触屏版’字样,点击‘触屏版’后跳转网页与另存打开的网页结构一致,如下:
在这里插入图片描述
什么情况!由此可推出此时scrpay获取网页跳转到触屏版导致网页结构不一致,从而无法抓取信息。
考虑触屏版网页源代码数量较小,遂在爬虫脚本中添加判断语句,当响应的源代码总数小于一定量时,采用‘触屏版’的路径表达式定位获取,从而解决问题。

以上为个人笔记,其中的深层缘由暂未了解,其中的解决方法来源于网上各位大佬的解答分享和自己的推测和实践得来,若有不对的地方,请大家指教,谢谢

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值