爬虫基础01
一、爬虫的概念
网络爬虫(又被称为网页蜘蛛,网络机器人)就是模拟客户端(主要指浏览器)发送网络请求,接收请
求响成,一种按照-定的规则, 自动地抓取互联网信息的程序。
●原则上,只要是客户端(浏览器)能做的事情,爬虫都能够做
●爬虫也只能获取客户端(浏览器)所展示出来的数据
模拟浏览器,发送请求,获取响应
二、爬虫的作用
●数据采集
●软件测试
●抢票
●网站上的投票
●网络安全
三、爬虫的分类
四、爬虫的流程
1.获取一个url
2.向url发送请求,并获取响应(需要http协议)
3.如果从响应中提取ur),则继续发送请求获取响应
4.如果从响应中提取数据,则将数据进行保存