网络蜘蛛基础件

转载 2006年06月14日 13:04:00
什么是网络蜘蛛呢?网络蜘蛛有什么用呢?    
    “网络蜘蛛”,学名Spider,这是一个自动程序,会自动地在互联网中搜索信息。一个典型的网络蜘蛛工作的方式,是查看一个页面,并从中找到相关信息,然后它再从该页面的所有链接中出发,继续寻找相关的信息,以此类推,直至穷尽。对网络蜘蛛的要求是能够快速、全面。    
    凡是需要积累信息的都需要蜘蛛,比如搜索引擎、情报的搜集、资料的收集、信息的收集。   
    互联网的迅速发展,导致了网上信息的爆炸性增长。要在如此浩瀚的信息海洋里快速、全面的收集信息,就不得不依靠网络蜘蛛的威力。
产品概述  
  *海量网络蜘蛛功能基础件简介
   实现网络蜘蛛的快速、全面是一件及其复杂的技术。海量网络蜘蛛基础件依托海量科技雄厚的中文信息处理技术,是海量科技推出的准确、高效、接口方便灵活的便于二次开发的软件包,以及为使软件包在目标系统中实现最优品质而提供的特定服务。其服务包括:目标系统架构咨询、辅助开发、技术培训、售后支持等,简称为网络蜘蛛基础件。
  *海量网络蜘蛛功能基础件应用前景
    作为搜索引擎的重要组成部分,网络蜘蛛基础件有着广泛的应用前景。主要应用领域如下:
    1 )搜索引擎:
   搜索引擎大致由三部分组成。第一部分是搜索器,就是网络蜘蛛的意思。第二部分是索引器。第三部分是面向用户的检索器。如果没有性能优越的网络蜘蛛就不可能实现一个卓越的搜索引擎。
   2 )信息积累 :    
   没有数据的支持就没有决策的方向。拥有海量的信息才能在此基础上进行分析。信息的积累主要应用于情报的搜集、资料的收集、信息的收集 。
产品技术特点  
   海量网络蜘蛛基础件是经过多年的开发与精练,具有以下特点:
    *下载的全,保证绝大多数可以下载
    1、静态链接,支持全路径、相对路径;
    2、可以直接取得URL的动态网页(CGI,ASP,PHP 等) ;
    3、支持JavaScript脚本;
    4、支持注册网站的下载;
    5、支持WWW认证网站的下载;
    6、支持经过简单编码的网站(URL编码);
    7、支持Flash网页的下载;
    8、可以自定义下载的文件的扩展名;
    9、支持自定义URL的下载;
    10、支持限制使用带宽,多线程,多任务;
    *更新的快
    提供多种更新机制,自定义更新和指定更新
    1、更新整个网站;
    2、只更新网站中部分网页;
    *下载准确
    1、能够识别错误页,空页,转向页等;
    2、对重复(网页的内容相同)的网页不会反复下载;

网络爬虫、spider程序、网络蜘蛛

问题?网络爬虫、spider程序、网络蜘蛛 定义:Spider又叫WebCrawler或者Robot,是一个沿着链接漫游Web 文档集合的程序。它一般驻留在服务器上,通过给定的一些URL,利用HTT...
  • Mr_li13
  • Mr_li13
  • 2016年01月04日 20:57
  • 1443

中文搜索引擎技术揭密:网络蜘蛛

中文搜索引擎技术揭密:网络蜘蛛 作者Winter 首发于e800.com.cn 【e800.com.cn 编者按】随着搜索经济的崛起,人 们开始越加关注全球各大搜索引擎的性能、技术和日流量。作为企...
  • wishfly
  • wishfly
  • 2006年11月07日 09:24
  • 825

网络蜘蛛

网络蜘蛛 网络蜘蛛基本原理 网络蜘蛛即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从网站某一个...
  • WINCOL
  • WINCOL
  • 2007年05月12日 23:10
  • 1303

网络蜘蛛

前言        搜索引擎一直专注于提升用户的体验度,其用户体验度则反映在三个方面:准、全、快。 用专业术语讲是:查准率、查全率和搜索速度(即搜索耗时)。其中最易达到的是搜索速度,因为对于搜索耗时在...
  • zhouhong0801
  • zhouhong0801
  • 2007年12月29日 14:56
  • 748

python网络蜘蛛

import re import urllib.request import chardet import _thread import time def time_control(...
  • jupeizhong
  • jupeizhong
  • 2014年06月25日 22:50
  • 439

C#2.0网络蜘蛛

C#2.0实现抓取网络资源的网络蜘蛛 如何使用C#2.0实现抓取网络资源的网络蜘蛛。使用这个程序,可以通过一个入口网址来扫描整个互联网的网址,并将这些扫描到的网址所指向的网络资源下载...
  • chengxin800
  • chengxin800
  • 2011年10月31日 23:32
  • 2098

网络蜘蛛简介

 网络蜘蛛基本原理  网络蜘蛛即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从网站某一个页面(...
  • sti01
  • sti01
  • 2005年11月09日 13:13
  • 1184

网络蜘蛛程序开发

什么是网络蜘蛛网络蜘蛛是一种能自动到网上查找信息的一种程序,该程序具有高度的自动性,只要告诉他一个网站,他就可以从这个网站开始依次通过该网站的链接自动抓取链接内容以及网址,然后就顺着这些链接一直抓下去...
  • jacky_20001
  • jacky_20001
  • 2007年02月10日 13:22
  • 770

网络蜘蛛基本原理

网络蜘蛛基本原理网络蜘蛛即Web Spider,是一个很形象的名字。把互联网比喻成一个蜘蛛网,那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页,从网站某一个页面(通常是...
  • strong_chenfei
  • strong_chenfei
  • 2007年08月28日 14:51
  • 455

网络蜘蛛爬虫 Scrapy - 简介&Demo

大家都说现在是移动互联网的时代, 那么有”网”的地方, 就肯定有”蜘蛛”. 今天, 我们就来在这个连接着全世界的巨型网络中, 创造一只小小的”蜘蛛”, 去爬取我们想要的”食物”. 引说...
  • haoyuewen812
  • haoyuewen812
  • 2015年04月01日 16:03
  • 567
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:网络蜘蛛基础件
举报原因:
原因补充:

(最多只允许输入30个字)