爬虫的分类

一、通用爬虫
1.通用网络爬虫：爬取互联网上所有的资源。
如：百度、谷歌等搜索引擎。
原理如下：图源网络

二、聚焦爬虫
1.聚焦网络爬虫：又称，主题网络爬虫。只选择性地爬取根据需求主题相关页面。
2.增量式网络爬虫：只爬取新产生和发生变化的网页。
3.深层网络爬虫：大部分内容不能通过静态的URL获取、隐藏在搜索表单后的、只有用户一些关键词才能获得网络页面。
原理如下：图源网络