java 抓取网页rss_Java--实现网络爬虫抓取RSS新闻（1）网络爬虫详解

网络爬虫定义

网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

可以更形象的理解：网络相当于一个巨大的蜘蛛网，每个蜘蛛丝的交叉点就是一个资源(URI)，爬虫这张巨大的网上爬取需要的资源后，通过一定的机制和容器进行存储。

网络爬虫原理

网络爬虫的基本原理可以用一张经典的图概括：

多线程下载器功能：从互联网爬取网页信息。其中，通过URL下载队列调度器，通过某种时间或调度机制进行下载，将下载的目标资源通多存储器(DB)进行保存。

网络爬虫爬取策略

抓取策略，是网络爬虫系统中最重要的一环。抓取策略就是爬虫系统按照某种方法/方式进行规则抓取目标资源。目前比较常见的抓取策略有：深度优先、广度优先、最佳优先。还有一些抓取策略：反向链接数策略、Partial PageRank策略、OPIC策略策略、大站优先策略 等等。

深度优先

深度优先搜索策略从起始网页开始，选择一个URL进入，分析这个网页中的URL，选择一个再进入。如此一个链接一个链接地抓取下去，直到处理完一条路线之后再处理下一条路线。深度优先策略设计较为简单。然而门户网站提供的链接往往最具价值，PageRank也很高，但每深入一层，网页价值和PageRank都会相