ESP32 MicroPython开发之旅 爬虫篇① 爬虫与ESP32 MicroPython，从概念认识开始

爬虫与ESP32 MicroPython，从概念认识开始

爬虫

什么是爬虫？

在说爬虫概念之前，我们看看平时是如何访问百度：

• 打开电脑
• 打开浏览器
• 输入 www.baidu.com
• 浏览器显示百度网页内容

从技术角度来说，人主动浏览器上发起了百度的网络HTTP请求，浏览器处理百度服务器返回的响应内容，展示html内容。

重点内容：这里重点强调了人的参与。如果参与者从人变成机器人自动，我们会称之为“爬虫”。

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。

原则上，只要是浏览器客户端能做的事情，爬虫都能做。其底层技术支撑就是网络协议（绝大部分都是模拟HTTP请求）。