[python爬虫基础]初步认识network/XHR

本文介绍了网络请求中的XHR技术,它是Ajax技术的一部分,用于在不刷新页面的情况下与服务器交换数据。xhr和fetch是实现数据传输的工具。接着讲解了如何解析XHR返回的JSON数据,通过示例展示了如何使用Python的requests库获取和解析JSON数据,以提取周杰伦的歌曲名称。
摘要由CSDN通过智能技术生成

Network使用方法

在这里插入图片描述

Preserve log 它的作用是“保留请求日志”。如果不点击这个,当发生页面跳转的时候,记录就会被清空。所以,我们在爬取一些会发生跳转的网页时,会点亮它。
ALL 查看全部
XHR 仅查看XHR,一种不借助刷新即可传输数据的对象
Doc Document,第0个请求一般在这里。(第0个请求:浏览器的框架)
Img 仅查看图片
Media 仅查看媒体文件
JS和CSS 前端代码,负责发起请求和页面实现
Front 文字的字体

在这里插入图片描述
XHR

我们平时使用浏览器上网的时候,经常有这样的情况:浏览器上方,它所访问的网址没变,但是网页里却新加了内容。
典型代表:如购物网站,下滑自动加载出更多商品。在线翻译网站,输入中文实时变英文。
再比如,我们正在爬取的QQ音乐案例,如果你对“周杰伦”的搜索结果进行翻页,浏览器上方显示的网址,也不会发生变化。对此,你可以试试看。
这个,叫做Ajax技术。应用这种技术,好处是显而易见的——更新网页内容,而不用重新加载整个网页。又省流量又省时间的,何乐而不为。
如今,比较新潮的网站都在使用这种技术来实现数据传输。只剩下一些特别老,或是特别轻量的网站,还在用老办法——加载新的内容,必须要跳转一个新网址。
这种技术在工作的时候,会创建一个XHR(或是Fetch)对象,然后利用XHR对象来实现,服务器和浏览器之间传输数据。在这里,XHR和Fetch并没有本质区别,只是Fetch出现得比XHR更晚一些,所以对一些开发人员来说会更好用,但作用都是一样的。
在这里插入图片描述

  • 1
    点赞
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: XHR是前端异步请求数据的一种技术,Python爬虫在获取网页数据时通常需要解析XHR数据,以便从中提取有用的信息。 首先,在Python中可以使用第三方库requests来获取XHR数据。通过先分析网页的XHR请求URL、请求参数和请求方式等信息,再使用requests向该URL发送请求,并将从响应中获取到的JSON数据转换为Python对象。 其次,解析XHR数据需要对JSON格式有一定的了解。JSON是一种轻量级的数据交换格式,Python中可以使用json库来对JSON数据进行解析、构造和转换。 最后,需要针对具体的XHR数据进行解析。通常情况下,XHR数据都是由一些字典和列表组成的嵌套结构,可以通过键值对的方式逐层遍历,获取需要的信息。 综上所述,解析XHR数据是Python爬虫获取网页数据的重要一环,需要通过分析请求URL和参数、转换JSON数据和遍历字典列表等方法来实现。 ### 回答2: 要解析XMLHttpRequest(XHR)数据,我们应该了解XHR是什么并确定它被发送到服务器的哪个端点。 XHR是客户端浏览器使用JavaScript发送的HTTP请求。Python爬虫可以使用requests库来模拟这些请求。XHR通常用于现代Web应用程序,以异步方式更新页面内容。这些请求经常返回JSON数据,因此我们需要将JSON数据解析为Python字典或列表。 在Python中,我们可以使用requests库发送XHR请求并获取响应。请求包括HTTP方法(GET,POST等)和URL,而响应是包含我们想要解析的JSON数据的实体。 一旦收到XHR响应,我们可以使用Python内置模块json将其解析为Python对象。Python对象可以是字典,列表,字符串等。对这些对象进行操作非常容易,所以在我们的Python脚本中使用它们非常方便。 可以通过以下Python代码解析XHR响应中的JSON数据: ``` import requests import json url = "http://example.com/api/data" # Send XHR request using requests library response = requests.get(url) # Parse JSON data into Python Object data = json.loads(response.text) # Print Python object print(data) ``` 以上Python代码假设代理向"example.com/api/data"发送GET请求,并返回JSON响应。请求将在请求体中包含数据,并通过requests库发送。json.loads()方法将JSON响应文本解析为Python对象。这个Python对象可以使用Python字典,Python列表等进行操作。 在Python中,解析XHR数据非常容易。请求通常通过requests库发送,并使用json模块将json响应解析为Python对象。这样的Python对象可以轻松地进行处理,并且可以使用Python内置的数据结构进行操作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值