2024年最新快速入门 Python 爬虫_python openpyxl requests lxml

2401_84692538

于 2024-05-02 10:10:36 发布

阅读量75

点赞数 9

分类专栏：程序员文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/2401_84692538/article/details/138388146

版权

程序员专栏收录该内容

98 篇文章

订阅专栏

本文介绍了如何利用Chrome开发者工具进行HTTP请求分析，包括各面板的功能应用，并详细讲解了Python爬虫中使用Requests库抓取网页数据、Xpath解析豆瓣短评以及pandas数据处理的过程。通过实例展示了单页和多页抓取豆瓣短评数据的完整流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

（4）浏览器拿到资源之后对页面进行加载、解析、渲染，最后呈现给用户

5.谷歌浏览器之 HTTP 请求分析

打开 Chrome 开发工具（这里我们以打开百度网址为例），如下图：
在这里插入图片描述

Elements（元素面板）：使用“元素”面板可以通过自由操纵 DOM 和 CSS 来重演您网站的布局和设计。
Console（控制台面板）：在开发期间，可以使用控制台面板记录诊断信息，或者使用它作为 shell，在页面上与 JavaScript交互。
Sources（源代码面板）：在源代码面板中设置断点来调试 JavaScript ，或者通过
Workspaces（工作区）连接本地文件来使用开发者工具的实时编辑器。
Network（网络面板）：从发起网页页面请求 Request后得到的各个请求资源信息（包括状态、资源类型、大小、所用时间等），并可以根据这个进行网络性能优化。

四、豆瓣短评的数据爬取

Pycharm IDE 的安装：

接下来我们首先需要安装 Python 中常用开发软件 Pycharm IDE，安装只需要默认选择即可。

（1）三方包的安装。

第一种安装库模块的方式为：打开 Pycharm IDE，选择 file-Settings，如下图所示：
在这里插入图片描述
这时我们选择右方的"+"符号，如下图所示：

由于接下来需要进行爬取豆瓣短评的数据，所以我们首先需要安装一些三方包和模块。安装 openpyxl、lxml、requests、pandas 等，安装这些库模块的时候，我们只需要在搜索框中搜索对应的库模块就可以，然后选择左下方的 Install Package 即可，等待安装完毕。

第二种安装库模块的方式为：打开 cmd 命令行，输入 pip install requests 命令，出现 Successfully installed，则表明该模块安装成功。
在这里插入图片描述

五、代码编写

爬取豆瓣短评需要用的知识点如下：

使用 Requests 爬取豆瓣短评；
使用 Xpath 解析豆瓣短评；
使用 pandas 保存豆瓣短评数据。

（1）Requests 库详解

Requests 是唯一的一个非转基因的 Python HTTP 库，人类可以安全享用，Requests 库是 Python 爬虫中的利器，使得我们爬虫更加方便，快速，它可以节约我们大量的工作，完全满足 HTTP 测试需求，所以我们安装这个库以爬取网页中的数据。

使用 Requests 抓取网页数据的一般步骤如下：

导入 Requests 库；
输入 URL；
使用 Get方法；
打印返回文本；
抛出异常。

（2）Xpath 解析

XPath 即为 XML 路径语言（XML Path Language），它是一种用来确定 XML 文档中某部分位置的语言，在开发中经常被开发者用来当作小型查询语言，XPath 用于在 XML 文档中通过元素和属性进行导航。

使用 Xpath 解析网页数据的一般步骤为：

从 lxml 导入etree。
解析数据，返回 XML 结构。
使用 .xpath() 寻找和定位数据。

获取 Xpath 的方法直接从浏览器中复制即可：首先在浏览器上定位到需要爬取的数据，右键，点击“检查”，在“Elements”下找到定位到所需数据，右键 —> Copy —> Copy Xpath，即可完成 Xpath 的复制（事例如下图）。

（3）pandas 讲解