你真的了解爬虫吗？看完你会对网络爬虫有更深更全面的认识

前言

爬虫是门很有意思的技术，可以通过爬虫技术获取一些别人拿不到或者需要付费才能拿到的东西，也可以对大量数据进行自动爬取和保存，减少时间和精力去手动做一些累活。

可以说很多人学编程，不玩点爬虫确实少了很多意思，不管是业余、接私活还是职业爬虫，爬虫世界确实挺精彩的。

今天来给大家浅谈一下爬虫，目的是让准备学爬虫或者刚开始起步的小伙伴们，对爬虫有一个更深更全的认知。

---

文章目录

• • 前言
  • 一、认识爬虫
  • • 1.什么是爬虫？
    • 2.爬虫的分类
    • 3.Robots协议
  • 二、爬虫的基本流程
  • • 1.爬虫的4步
    • 2.Request和Response
  • 三、了解Request
  • • 1.请求方式
    • 2.请求URL
    • 3.请求头
    • 4.请求体
    • 5.实操查看Request
  • 四、了解Response
  • • 1.响应状态
    • 2.响应头
    • 3.响应体
  • 五、爬虫能获取到什么样的数据？
  • 六、如何解析数据？
  • 七、怎么保存数据？

---

一、认识爬虫

1.什么是爬虫？

用一句话来给大家介绍大名鼎鼎的爬虫：请求网站并提取数据的自动化程序。

我们来拆开理解一下爬虫:

请求网站的意思就是向网站发送请求，比如去百度搜索关键字“Python”，这个时候我们的浏览器就会向网站发送请求；

提取数据，数据包括了图片、文字、视频等等，都叫数据，在我们发送请求之后，网站会呈现搜索结果给我们，这其实就是返回了数据，这时候我们就可以对数据进行提取；

自动化程序，也就是我们写的代码，实现了自动提取程数据，比如批量对返回的图片进行下载和保存，替代我们一张一张图片进行手工操作。