爬取的列表为空!正则表达式没错!原因是什么?

开始学爬虫

要爬取一个斗鱼的主播和观看人数

打开开发者工具,查看源码,发现是这样:

<div class="DyListCover-info"><span class="DyListCover-hot"><svg class="DyListCover-hotIcon"><use xlink:href="#icon-hot_8a57f0b"></use></svg>9032</span><h2 class="DyListCover-user"><svg class="DyListCover-userIcon"><use xlink:href="#icon-user_c95acf8"></use></svg>悦人迷心</h2></div>

(红色的是人数和名字)

然后我弄了个正则表达式:

'<div class="DyListCover-info"><span class="DyListCover-hot">([\s\S]*?)</div>'

然后我死活匹配不上。列表始终为0

过了两小时

我右键单击页面打开了“查看页面源代码

发现是这样:

<div class="DyListCover-info"><span class="DyListCover-hot is-template"><svg><use xlink:href="#icon-hot_8a57f0b"></use></svg>48.9万</span><h2 class="DyListCover-user is-template"><svg><use xlink:href="#icon-user_c95acf8"></use></svg>杀杀杀人哥</h2></div>

(两个主播是不同的,这一点不是关键)

重要的是!:开发者工具中看到的源代码和我们直接打开看到的源代码不一样!!我们爬的是原始的源代码,但是开发者工具中的是可能被浏览器修改过的!可能是JavaScript渲染或其他巴拉巴拉。。。

 

  • 5
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值