【Python爬虫教程】第1篇-基础知识

什么是爬虫

信息的交互是通过web网页、或者移动端等不同的客户端端形式进行交互，这个过程是一个人与网路正常的交互行为。而爬虫可以用来模拟人的一些行为去获取相应的数据，即模拟客户端发送网络请求，接收响应数据然后按照一定规则处理数据，这样自动化的抓取网络信息的程序被叫做网络爬虫（又被称为网页蜘蛛、网络机器人）。

来自维基百科的解释：爬虫

爬虫的工作原理

**1. 发起请求：**向目标网站发送HTTP或HTTPS请求。
**2. 获取响应：**接收服务器返回的响应数据，通常是HTML、JSON或XML格式。
**3. 解析数据：**使用正则表达式、BeautifulSoup、lxml等工具解析响应内容，提取有用信息。
**4. 存储数据：**将提取的数据保存到本地文件、数据库或云存储中。