一、爬虫的含义:
通过编写程序,模拟浏览器上网,然后让其去互联网上爬取数据的过程
爬虫在使用场景的分类
1、通用爬虫
爬取系统重要组成部分,抓取的是一整张页面数据
2、聚焦爬虫
是建立在通用爬虫的基础之一,抓取的是页面中特定的局部内容
3、增量式爬虫
检测网站中数据更新的情况,只会抓取网站中最新更新出来的数据
二、反爬机制
门户网站,可以通过制定相应的策略或者技术手段,防止爬虫程序进行网站数据的爬取
三、反反爬机制
爬虫程序可以通过制定相关的策略或者技术手段,破解门户网站中具备的反爬机制,从而可以获取门户网
robots.txt协议规定了网站中那些数据可以被爬取或不可以爬取