Python 爬虫基础

Python 爬虫基础

1、网络爬虫的概念：（概念性的东西总是要知道的）

网络爬虫又被称为网页蜘蛛，网络机器人）就是模拟客户端（主要指浏览器）发送网络请求，接收请求响应，一种按照一定规则，自动抓取互联网信息的程序。‘

• 原则上，只要客户端浏览器所能做的事情，爬虫都能做
• 爬虫也只能获取客户端（浏览器）所展示的数据

说人话：模拟浏览器，发送请求，获取响应。

---

2、爬虫的作用：

1. 数据采集：微博评论，信息收集，疫情信息收集，招聘网站信息收集，新闻信息，川普拉选票
2. 软件测试：爬虫之自动化测试
3. 1230抢票：
4. 网站投票：
5. 网络安全：短信轰炸——注册页面，web漏洞扫描

---

3、爬虫的分类：

• 全网爬虫：用于抓取整个互联网的数据，主要就是搜索引擎这样的
• 站内爬虫：与全网爬虫类似，只是用于抓取站内的网络资源。主要是一些企业内部的搜索引擎。
• 定向爬虫：应用广泛，这种爬虫只关注特定的数据。

分类方法还有很多，就不一一列举了。

爬虫流程：

1. 获取一个URL
2. 向URL发送请求，并获取响应（需要HTTP协议）
3. 如果从响应中提取URL，则继续发送请求获取响应
4. 如果从响应中提取数据，则将数据进行保存