聚焦网络爬虫

前言：前段时间一直在忙着准备人工智能的项目答辩，其实就是编了一个很简单的网络程式——网络爬虫，然后模拟毕业论文的形式，准备开题报告，论文答辩（PPT），和论文设计（word）。刚开始很不愿意做，但是整个项目做下来以后，发现网络爬虫其实很有意思，跟我们现在的学习也是相关的，下面就简单的介绍一下有关网络爬虫的知识。

一.爬虫工作原理及关键技术概述

　　网络爬虫是一个自动提取网页的程序，它为搜索引擎从Internet网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止，另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

　　相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：