Python爬虫返还内容为空列表

实验室老师给了我们一个爬虫题目,需要我将新闻获取实时最新消息,并发送到微信上。

8227e381a522420f8647ce2c12d29ca3.gif

 

 

   在我完成老师题目的途中, 

   我发现我的爬虫爬取的内容是很多个空列表,并且因此卡在这里无法运作。

 

经过查询资料我得知,像是新闻,资讯这种动态更新的网址,

用普通的检查获取源代码的方法,是无法获取到你想要获取的内容的。

d8d55ac4813e4a8f9a3b4dfb35a76d6f.gif

 

解决方法:

1.按F12调出开发者工具。

 

2.点击“network”或者“网络”(可能在元素和控制栏的右边,需要滑动滑动条才可发现)

 

3.点击下方“fetch/XHR ”

 

4.按f5键刷新界面,点击下面的json文件

 

然后我们就可以找到我们所需内容的位置啦

85969f87be114f049aca236b1cfec4e7.gif

 

然后需要对json文件进行抓包解析,与这些有关的内容其他很多博主也讲过,我也不赘述啦

 

373cf7ba14094cfeba07376d39f66f6f.jpg

YY酱今天也学到了很多知识呢!希望也可以帮助到大家!!! 

 

 

 

 

 

  • 6
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值