前言
浏览器开发者工具对于搞爬虫的人来绝对是必备知识,其中Network面板使用就最是频繁了(只用Fiddler、charles等抓包工具的除外),分析接口查看请求都是在这个面板中看的,而今天主要讲的就是筛选器的使用,相信大家都遇过在某个场景下,虽然只选定了自己想看的请求类型,但是最终发现还是有好多无关的请求显示,一般的情况就是通过筛选器来筛选出某一个关键请求,但是如果我同时看好几个关键请求怎么弄呢?毕竟这个面板不像抓包工具,可以直接清除掉一些不需要的请求,接下来就看下下面是如何处理的。
正文讲解
先来看下过滤工具:
从上图中可以看到有很多中选择,筛选器就是可以通过输入一些关键字符来只保留或者去掉请求(这部分后面会着重讲解),反转就是将筛选器中的条件取反的意思,全部顾名思义就是显示所有请求,如下:
此时显示的就是所有的请求,后面的就是选取哪个就会保留对应类型的请求,比如只想看XHR请求,那么只选择Fetch/XHR即可,如下:
可以看到上图只保留了xhr类型的请求,如果想看某几种类型的请求,那么同时选择看到的类型就好了,比如我只想查看xhr、js、doc等几种类型,那么直选选择这几个类型即可,如下:
可以看到就只显示这三种类型的请求了,其余的也是差不多的意思,所以就不再一一说明和演示了,接下来说说今天的重点筛选器 的使用。
筛选器的使用
-
通过正则表达式查找网络请求
假如这里想过滤出下图中圈出来的是哪个请求,如下:
这里使用正则的方式来过滤,输入/vendors~([\s\S]?)([\s\S]?).js/,如下:
这就通过正则的方式将需要的请求过滤出来了,当然,这里不需要正则就能过滤出来,只是举一个例子而已。 -
排除网络请求
首先看一下下图:
在筛选器 中输入- 就会显示出这些排除方法 ,简单介绍几个:
-domain::通过域名来隐藏不需要的请求
-url::通过url中的关键字来隐藏不需要的请求
-method::通过请求方式,GET、POST等请求方式来隐藏不需要的请求
其余的就是通过按照它显示的来,应该算是比较明确了,具体的大家可以自行测试,下面演示一下,这里我只想看下面圈起来的几个请求,如图:
这里直接使用-url:方法,将不需要的请求隐藏起来-.gif -.js -url:.ico -url:mcs.snssdk.com/ -url:reportFrontend -url:setting -url:setting
这样就只保留了只想看到的几个请求。 -
保留网络请求
这个就不需要讲了把,上面是-加一些方法,这里就是不需要-这个,只使用对应方法就可以了。
欢迎关注公众号:【时光python之旅】 (在这里你能学到我的所见、所闻、所思、所学)