立即学习:https://edu.csdn.net/course/play/24454/296785?utm_source=blogtoedu
爬虫在使用场景中的分类:
通用爬虫:抓取系统重要组成部分,抓取一整张页面的数据
聚焦爬虫:建立在通用爬虫的基础上,抓取页面中特定的局部内容
增量式爬虫:检查网站中数据更新情况,仅会爬取最新更新出来的数据。
爬虫的矛与盾:
反爬机制:相关门户网站指定相应的策略或这技术手段,防止爬虫程序对其网站数据的爬取
反反爬策略:爬虫程序指定相关的 策略破解门户网站中具备的反爬机制,从而可以获取门户网站的相关数据