搜索引擎之爬虫定义和爬虫搜索网页策略

网络爬虫概述之网路爬虫定义：
    网路爬虫又被称为网页蜘蛛、网络机器人，是一种按照一定规则自动 抓取万维网的程序或脚本、
    特点是：一定的规则、自动抓取、网络资源、程序或脚本
网络爬虫概述之网页搜索策略：
    广度优先搜索：
        在完成当前层次的搜索之后才进行下一层次的搜索。认为与初始URL在一定链接距离内的网页具有主题相关性的概率阅读
    最佳优先搜索
        按照一定的网页分析算法，预测候选URL与目标网页的相似度或与主题的相关性，并选取评价最好的一个或几个URL进行抓取
    深度优先搜索：
        从起始网页开始，选择一个URL进入，分析这个网页中的URL，选择一个再进入从起始网页开始，选择一个URL进入，分析这个网页中的URL，选择一个再进入
    
    倒排索引(反向索引)：
        这种由字符串到文件的映射是文件到字符串映射的反向过程