一、爬虫是什么?
爬虫也叫网页蜘蛛,网络机器人,就是模拟客户端发送网络请求,获取请求对应的响应,一种按照一定规则,自动抓取互联网信息的程序。
即:通过模拟真实用户,向服务器(发送请求)-》获取响应(爬取到的服务器数据)-》对数据进行清洗操作-》数据保存操作
1. 反爬的重点:在于是否能够获取真实的数据
服务器会识别不是一个真实的用户,那么就不会返回数据,这种行为就叫做反爬(服务器对爬虫)
2. 被反爬之后怎么操作呢?
需要伪装成一个真实的用户,发送请求,这种行为就叫做反反爬(爬虫对服务器)
3. 爬虫本质:
可见皆可爬
4. 爬虫名词解释:
(1)爬虫:模拟客户端访问,抓取数据
(2)反爬:保护重要数据,阻止恶意网络攻击
(3)反反爬:针对反爬做的措施
5. 被反爬之后怎么解决呢?(反反爬)
ua反爬:ua(useragent) 用户身份 服务端会根据用户的请求次数以及请求的身份进行反爬 ua反反爬: 换用不同的ua请求次数降低 时间延时