1-爬虫介绍

1.爬虫概述

爬虫过程：发送请求，获取网页源码信息；解析网页信息，提取有用数据；保存数据。

2.爬虫类型

通用网络爬虫、聚焦网络爬虫（主题网络爬虫）、增量式网络爬虫、深层网络爬虫。

2.1 通用网络爬虫

爬取海量数据，主要作用于搜索引擎。

组成：初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块等构成。

爬行策略：深度优先和广度优先。

2.2聚焦网络爬虫（主题网络爬虫）

根据预先定义好的有选择性地进行页面爬取的一种爬虫，将爬取的目标网页定位与主题相关的页面中。是特定信息的爬取。

组成：初始URL集合、URL队列、页面爬行模块、页面分析模块、页面数据库、链接过滤模块、内容评价模块、链接评价模块等构成
内容评价模块：可以评价内容的重要性
链接评价模块：可以链接的重要性
根据链接和内容的重要性，可以确定那些页面可以优先访问。

爬行策略：基于评价内容的爬行策略、基于链接评价的爬行策略、基于增强学习的爬行策略、基于语境图的爬行策略。