爬虫二、Network---爬虫必备知识

Network

读： [ˈnetwɜːk] n.网络;网状系统;关系网;
v.将…连接成网络;联播;建立工作关系
打开工发者工具：F12，或右键–检查（ctrl+shift+i）
Network能够记录当前浏览器的所有请求，它记录的是实时网络请求，刷新，浏览器会重新访问网络，这样就会有记录
1、ALL:查看全部。
2、XHR（或Fetch）:仅查看XHR,下拉可自动加载网页。XHR的功能是传输数据，其中有非常重要的一种数据是用json格式写成的，和html一样，这种数据能够有组织地存储大量内容。json的数据类型是“文本”，在Python语言当中，我们把它称为字符串。我们能够非常轻易地将json格式的数据转化为列表/字典，也能将列表/字典转为json格式的数据。

调用Response类方法将json格式的数据转化为列表/字典 ，例：
res_music = requests.get ('url')#调用get方法，下载这个字典
json_music = res_music.json ()

3、Doc：（Document）第0个请求一般在这里
4、Img：仅查看图片 Media：仅查看媒体文件， Other：其他
5、JS和CSS，则是前端代码，负责发起请求和页面实现；
6、Font是文字的字体；
7、WS和Manifest，需要网络编程的知识，倘若不是专门做这个，不需要了解
左边框框里的是Elements，我们在那里查看网页源代码

Network面板怎么用

第0行的左侧，红色的圆钮是启用Network监控（默认高亮打开），灰色圆圈是清空面板上的信息。右侧勾选框Preserve log，它的作用是“保留请求日志”。如果不点击这个，当发生页面跳转的时候，记录就会被清空。所以，我们在爬取一些会发生跳转的网页时，会点亮它
在Network中，有一类非常重要的请求叫做XHR，它的功能是浏览网页时，下滑自动加载出更多内容，这个，叫做Ajax技术。

从左往右分别是：Headers：标头（请求信息）、Preview：预览、Response：响应、Cookies：Cookies、Timing：时间。

最左侧的Headers，它被分为几个不同的板块

一、General

1、 Requests URL

Requests URL就是我们应该去访问的链接，回到原网址，直接用Preview来看。

利用requests.get()访问这个链接，把这个字典下载到本地。然后去一层一层地读取，使用res.text取到的，是字符串，它不是我们想要的列表/字典，数据取不出来。
json是什么？
json是一种数据交换的语法。对我们来说，它只是一种规范数据传输的格式，形式有点像字典和列表的结合体。
它是另一种组织数据的格式，长得和Python中的列表/字典非常相像。它和html一样，常用来做网络数据传输。刚刚我们在XHR里查看到的列表/字典，严格来说其实它不是列表/字典，它是json。我们总是可以将json格式的数据，转换成正常的列表/字典，也可以将列表/字典，转换成json。
json数据如何解析？ 见本文最开头示例。

2、Request Method:GET

3、Status Code: 200

4、Remote Address:

5、Referrer Policy:

二、