本文介绍了爬虫的基本概念，包括爬虫是什么、工作原理、发送请求、接收响应以及解析网页。详细讲解了请求报文的组成部分，如请求行、请求头、空行和请求体，并阐述了响应报文的结构。最后讨论了如何提取链接和资源，为初学者提供了爬虫入门的知识框架。
1. 爬虫简介
1.1 爬虫是什么？
什么是爬虫，以下是百度百科上的解析：
很多人都将互联网比喻成一张非常大的网，将世界连接起来。如果说互联网是一张网，那么爬虫就像在网上爬的小虫子，通过网页的链接地址来寻找网页，通过特定的搜索算法来确定路线，通常从网站的某一个页面开始，读取该网页的内容，找到该网页中的其他链接地址，然后通过这些链接地址寻找下一个网页，就这样一直循环下去，直到将该网站的所有网页全部抓取为止。
1.2 爬虫原理
发起请求：
使用http库向目标站点发起请求，即发送一个Request
Request包含：请求头、请求体等
接收响应：
如果服务器能正常响应，则会得到一个Response
Response包含：html，json，图片&#x
最低0.47元/天 解锁文章
扫一扫
405
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
