2024年最全Python爬虫小白入门笔记详解

2401_84689238

于 2024-05-01 21:46:49 发布

阅读量758

点赞数 24

分类专栏：程序员文章标签： python 爬虫笔记

本文链接：https://blog.csdn.net/2401_84689238/article/details/138380551

版权

程序员专栏收录该内容

115 篇文章 1 订阅

订阅专栏

本文介绍了Python爬虫的基本工作原理，包括发送请求、获取页面、解析页面和保存内容的过程。着重讲解了Python编程作为基础，推荐的requests和urllib库，以及抓包工具如Fiddler的使用。同时提到了BeautifulSoup和XPath用于解析网页内容，最后介绍了数据保存的方法，包括文本文件和数据库应用。

摘要由CSDN通过智能技术生成

![](https://img-blog.csdnimg.cn/img_convert/07b6e14ed1f89ade73a5ccc092ae903b.png 在这里插入图片描述

小白入门Python爬虫，了解爬虫的基本工作原理和相关的理论基础

爬虫工作原理总结来讲就是四部曲：

发送请求-获取页面-解析页面-保存内容

在这里插入图片描述

Python爬虫各部分的学习框架进行拆分讲解

第一理论基础：Python编程

不用担心Python编程会很难学，在跟Java、C语言相比，Python算是一门较容易学的编程语言了，语言简洁高效，易上手操作，对新手小白很友好。

学习Python爬虫无非就是先把Python基础知识学好，像Python开发环境使用、基础语法、常量与变量、算数、条件循环语句、数据结构类型、字符串、正则表达式、基本函数、异常处理这些，内容是有一点多，但难度不是很大，0基础新手小白需要花点心思和时间去理解这些概念涵义。

基础之后可以逐步学习Python面向对象的编程、类、多重继承、模块、异常机制、多进程与线程等内容

Python编程重在理清语法逻辑，熟练代码，掌握最核心的语法应用，比如字符串、正则表达式、循环语句等，这些在爬虫中几乎都要用到。

核心知识点可参考下面这张图，

在这里插入图片描述

先大概了解一下Python的基础知识，有些东西一开始不太理解到后面接触的知识范围广了，会突然有豁然开朗的感觉。

Python爬虫 | 思维导图

在这里插入图片描述

爬虫核心技巧

技巧一：请求库

请求库有：requests、selenium、urllib、aiohttp，我个人比较推荐新手小白掌握urllib和requests请求库。

urllib库

是Python内置的HTTP请求库，不需要额外安装即可使用，包含以下4个模块：

request 打开和读取 URL，最基本的HTTP请求模块，可以用来模拟发送请求

error 包含 urllib.request 抛出的异常，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止。

parse 用于解析 URL，比如拆分、解析、合并等。

robotparser 用于解析 robots.txt 文件，主要是用来识别网站的robots.txt文件，然后判断哪些网站可以爬，哪些网站不可以爬。

需要注意的是urllib不能自动判断重定向，需要自己解析重定向的链接并重新请求。

如果你只是爬取一般的网页，那么Python自带的urllib库足够用了，如果是想要爬取异步加载的动态网站，requests库会方便很多。

requests库

功能强大的爬取网页信息的第三方库，可以进行自动爬取HTML页面及自动网络请求提交的操作。

![](https://img-blog.csdnimg.cn/img_convert/887a9c527e7768077f348acbb9716971.png 在这里插入图片描述

requests库的主要方法：

在这里插入图片描述

Response对象

在这里插入图片描述

技巧二：抓包工具分析网络请求

抓取工具主要有chrome firefox fidder appium，重点讲一下fidder，基本可以说目前最为全面和强大的抓包工具就是fiddler了，使用也不算麻烦。

Fiddler也在官网上有提供非常详细的文档和教程，如果使用的时候遇到问题，可以直接查阅官网文档。我们可以利用Fiddler详细的对HTTP请求进行分析，并模拟对应的HTTP请求。

在这里插入图片描述

fiddler本质就是一个HTTP代理服务器，功能非常强大，除了可以清晰的了解每个请求与响应之外，还可以进行断点设置，修改请求数据、拦截响应内容。

技巧三：解析数据库

解析库有非常多可以选择，比如CSS、pyqery、re、xpath等，比较建议掌握Beautiful Soup和Xpath

Beautiful Soup解析库

为第三方库需要安装使用，在命令行用pip安装就可以了：

pip install bs4

具体用法：变量名称 = BeautifulSoup（需要解析的数据，"html.parser’）

它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序，能自动转换编码。

BeautifulSoup支持的解析器

1.Python标准库：内置库、执行速度适中、文档容错能力强；

2.lxml HTML解析器：速度快，文档容错能力强（推荐）；

3.lxml XML解析器：速度快，唯一支持xml的解析器；

4.html5lib：最好的容错性、以浏览器方式解析文档，生成HTML5格式的文档。

具体用法：soup=BeautifulSoup(markup,from_encoding=“编码方式”)

Xpath解析库

提供了非常简洁明了的路径选择表达式，XPath相对于正则表达式显得更加简洁明了，对于网页的节点来说，它可以定义id、class或其他属性。而且节点之间还有层次关系，在网页中可以通过XPath来定位一个或多个节点

规则：

在这里插入图片描述

技巧四：保存数据

学到这里就比较容易了，主要是对数据的存储和处理，有两种方式：

小规模数据可以使用txt文件、json文件、csv文件等方式来保存文件。

大规模数据就需要使用数据库了像mysql，mongodb、redis等，就比较方便查询管理。

这一块掌握主流的MongoDB 就可以了，可以方便你去存储一些非结构化的数据，比如各种评论的文本，图片的链接等等。

以上这些核心技巧Python都有相应的库帮你去做，你只需要知道如何去应用它们，掌握精通每一部分的一到两种方法就可以了。

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！