Python 爬虫:获取 JS 动态内容——应用宝搜索应用!

本文介绍了如何通过Python爬虫获取JS动态生成的网页内容,以应用宝搜索应用为例,详细阐述了寻找JS请求的数据接口、URL编码以及实现代码的方法,包括请求接口、JSON解析和获取App信息的步骤。
摘要由CSDN通过智能技术生成

下面我们将介绍第一种方法。第二种方法可以参考这里

1.2 从网页响应中找到 JS 脚本返回的数据   既然网页内容是由 JS 动态生成加载的,那么 JS 就需要先对某个接口进行调用,然后根据接口返回的数据再进行加载和渲染。那我们可以先找到 JS 调用的数据接口,从数据接口中找到网页中最后呈现的数据。   下面我们就以应用宝的搜索应用页面为例,进行说明。

1.2.1 找到 JS 请求的数据接口


按照如下步骤进行操作:

将看到如下信息:

在这里插入图片描述

  • 打开应用宝的搜索页面(https://android.myapp.com/myapp/search.htm)

  • 按 F12 打开网页调试工具

  • 选择 “Network” 选项卡

  • 选择 “XHR”(即 XMLHTTPRequest,是 Ajax(Asynchronous JavaScript and XML,异步的 JavaScript 和 XML) 中的概念。 )

  • 输入应用名(例如:微信)

在这里,我们看到只有一个 request(其他网页可能会存在

  • 9
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值