爬虫知识总结

一、爬虫的含义：

通过编写程序，模拟浏览器上网，然后让其去互联网上爬取数据的过程

爬虫在使用场景的分类

1、通用爬虫

爬取系统重要组成部分，抓取的是一整张页面数据

2、聚焦爬虫
    是建立在通用爬虫的基础之一，抓取的是页面中特定的局部内容

3、增量式爬虫

   检测网站中数据更新的情况，只会抓取网站中最新更新出来的数据

二、反爬机制

门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取

三、反反爬机制

爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网

robots.txt协议规定了网站中那些数据可以被爬取或不可以爬取