关闭

网络蜘蛛基础件

1851人阅读 评论(0) 收藏 举报
什么是网络蜘蛛呢?网络蜘蛛有什么用呢?    
    “网络蜘蛛”,学名Spider,这是一个自动程序,会自动地在互联网中搜索信息。一个典型的网络蜘蛛工作的方式,是查看一个页面,并从中找到相关信息,然后它再从该页面的所有链接中出发,继续寻找相关的信息,以此类推,直至穷尽。对网络蜘蛛的要求是能够快速、全面。    
    凡是需要积累信息的都需要蜘蛛,比如搜索引擎、情报的搜集、资料的收集、信息的收集。   
    互联网的迅速发展,导致了网上信息的爆炸性增长。要在如此浩瀚的信息海洋里快速、全面的收集信息,就不得不依靠网络蜘蛛的威力。
产品概述  
  *海量网络蜘蛛功能基础件简介
   实现网络蜘蛛的快速、全面是一件及其复杂的技术。海量网络蜘蛛基础件依托海量科技雄厚的中文信息处理技术,是海量科技推出的准确、高效、接口方便灵活的便于二次开发的软件包,以及为使软件包在目标系统中实现最优品质而提供的特定服务。其服务包括:目标系统架构咨询、辅助开发、技术培训、售后支持等,简称为网络蜘蛛基础件。
  *海量网络蜘蛛功能基础件应用前景
    作为搜索引擎的重要组成部分,网络蜘蛛基础件有着广泛的应用前景。主要应用领域如下:
    1 )搜索引擎:
   搜索引擎大致由三部分组成。第一部分是搜索器,就是网络蜘蛛的意思。第二部分是索引器。第三部分是面向用户的检索器。如果没有性能优越的网络蜘蛛就不可能实现一个卓越的搜索引擎。
   2 )信息积累 :    
   没有数据的支持就没有决策的方向。拥有海量的信息才能在此基础上进行分析。信息的积累主要应用于情报的搜集、资料的收集、信息的收集 。
产品技术特点  
   海量网络蜘蛛基础件是经过多年的开发与精练,具有以下特点:
    *下载的全,保证绝大多数可以下载
    1、静态链接,支持全路径、相对路径;
    2、可以直接取得URL的动态网页(CGI,ASP,PHP 等) ;
    3、支持JavaScript脚本;
    4、支持注册网站的下载;
    5、支持WWW认证网站的下载;
    6、支持经过简单编码的网站(URL编码);
    7、支持Flash网页的下载;
    8、可以自定义下载的文件的扩展名;
    9、支持自定义URL的下载;
    10、支持限制使用带宽,多线程,多任务;
    *更新的快
    提供多种更新机制,自定义更新和指定更新
    1、更新整个网站;
    2、只更新网站中部分网页;
    *下载准确
    1、能够识别错误页,空页,转向页等;
    2、对重复(网页的内容相同)的网页不会反复下载;
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:10153次
    • 积分:157
    • 等级:
    • 排名:千里之外
    • 原创:2篇
    • 转载:3篇
    • 译文:0篇
    • 评论:0条
    文章存档