学python爬虫必备知识点：开发者工具的使用

最新推荐文章于 2024-05-02 01:13:24 发布

嗨学编程

最新推荐文章于 2024-05-02 01:13:24 发布

阅读量823

点赞数 2

分类专栏： Python爬虫文章标签： python 编程语言

本文链接：https://blog.csdn.net/fei347795790/article/details/108668203

版权

677 篇文章 327 订阅

订阅专栏

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

chrome 开发者工具

当我们爬取不同的网站是，每个网站页面的实现方式各不相同，我们需要对每个网站都进行分析。那是否有一些通用的分析方法？我分享下自己爬取分析的“套路”。在某个网站上，分析页面以及抓取数据，我用得最多的工具是 Chrome 开发者工具。

Chrome 开发者工具是一套内置于 Google Chrome 中的 Web 开发和调试工具，可用来对网站进行迭代、调试和分析。因为国内很多浏览器内核都是基于 Chrome 内核，所以国产浏览器也带有这个功能。例如：UC 浏览器、QQ 浏览器、360 浏览器等。

接下来，我们来看看 Chrome 开发者工具一些比较牛逼的功能。

通过元素（Element）面板，我们能查看到想抓取页面渲染内容所在的标签、使用什么 CSS 属性（例如：class=“middle”）等内容。例如我想要抓取我知乎主页中的动态标题，在网页页面所在处上右击鼠标，选择“检查”，可进入 Chrome 开发者工具的元素面板。
在这里插入图片描述

通过这种方法，我们能快速定位出页面某个 DOM 节点，然后可以提取出相关的解析语句。鼠标移动到节点，然后右击鼠标，选择 “Copy”，能快速复制出 Xpath 、CSS elector 等内容解析库的解析语句。
在这里插入图片描述

网络（Network）面板记录页面上每个网络操作的相关信息，包括详细的耗时数据、HTTP 请求与响应标头和 Cookie，等等。这就是我们通常说的抓包。

在这里插入图片描述

其中的 Filters 窗格，我经常使用其来过滤出一些 HTTP 请求，例如过滤出使用 Ajax 发起的异步请求、图片、视频等。

最大的窗格叫 Requests Table，此表格会列出了检索的每一个 HTTP 请求。默认情况下，此表格按时间顺序排序，最早的资源在顶部。点击资源的名称可以显示更多信息。
在这里插入图片描述

all：所有请求数据（图片、视频、音频、js代码、css代码）

XHR：XMLHttpRequest 的缩写，是ajax技术的核心，动态加载完成经常分析的一个内容

CSS: css样式文件

JS：JavaScript文件，js解密是常分析的一个页面

Img： Images 图片文件

Font：字体文件（字体反扒）

DOC ： Document，文档内容

WS: WebSocket，web端的socket数据通信，一般用于一些实时更新的数据

Headers 是显示 HTTP 请求的 Headers，我们通过这个能看到请求的方式，以及携带的请求参数等。