asp.net 爬虫

在《爬虫/蜘蛛程序的制作(C#语言)》一文中,已经介绍了爬虫程序实现的基本方法,可以说,已经实现了爬虫的功能。只是它存在一个效率问题,下载速度可能很慢。这是两方面的缘故造成的:
1.分析和下载不能同步进行。在《爬虫/蜘蛛程序的制作(C#语言)》中已经介绍了爬虫程序的两个步骤:分析和下载。在单线程的程序中,两者是无法同时进行的。也就是说,分析时会造成网络空闲,剖析的时间越长,下载的效率越低。反之也是一样,下载时无法同时进行剖析,唯有停下下载后才干进行下一步的分析。问题浮出水面,我想大家都会想到:把分析和下载用不同的线程进行,问题不就解决了吗?
2.只是单线程下载。相信大家都有用过网际快车等下载资源的经历,它里面是可以设置线程数的(近年版本默认是10,曾经默认是5)。它会将文件分成与线程数相同的部分,然后每个线程下载自己的那一部分,这样下载效率就有可能提高。相信大家都有加多线程数,提升下载效率的经历。但细心的用户会发觉,在带宽一定的状况下,并不是线程越多,速度越快,而是在某一点达到峰值。爬虫作为特别的下载工具,不具备多线程的能力何以有效率可谈?爬虫在信息时代的目的,难道不是快速获取信息吗?所以,爬虫需要有多线程(可控数量)同时下载网页。
好了,认识、分析完问题,就是解决问题了:
多线程在C#中并不难实现。它有一个命名空间:System.Threading,提供了多线程的支持。
要开启一个新线程,须要以下的初始化:
 
ThreadStart startDownload = new ThreadStart( DownLoad );
//线程起始设置:即每个线程都执行DownLoad(),注意:DownLoad()必须为不带有参数的方法
Thread downloadThread = new Thread( startDownload ); //实例化要开启的新类
downloadThread.Start();//开启线程  
由于线程起始时启动的方法不能带有参数,这就为多线程共享资源添加了麻烦。不过我们可以用类级变量(当然也可以使用其它方法,笔者以为此方法最简单易用)来解决这个问题。知道开启多线程下载的方法后,大家可能会发生几个疑问:
1.如何操纵线程的数量?

2.如何防止多线程下载同一网页?

3.如何判断线程结束?

4.如何操纵线程结束?
下面就这几个问题提出解决方法:
1.线程数量我们可以通过for循环来实现,就如同当年初学编程的打点程序一样。
譬如已知用户指定了n(它是一个int型变量)个线程吧,可以用如下方法开启五个线程。
 
Thread[] downloadThread;
//声名下载线程,这是C#的优势,即数组初始化时,不需要指定其长度,可以在使用时才指定。
这个声名应为类级,这样也就为其它方法控件它们提供了可能
ThreadStart startDownload = new ThreadStart( DownLoad );
//线程起始设置:即每个线程都执行DownLoad()
downloadThread = new Thread[ n ];//为线程申请资源,确定线程总数
for( int i = 0; i < n; i++ )//开启指定数量的线程数
{

downloadThread[i] = new Thread( startDownload );//指定线程起始设置

downloadThread[i].Start();//逐个开启线程


好了,实现控制开启线程数是不是很简单啊?
2.下面出现的一个问题:所有的线程都调用DonwLoad()方法,这样如何避免它们同时下载同一个网页呢?
这个问题也好解决,只要树立一下Url地址表,表中的每个地址只容许被一个线程申请即可。具体实现:
可以利用数据库,树立一个表,表中有四列,其中一列专门用于存储Url地址,另外两列分别存放地址对应的线程以及该地址被申请的次数,最后一列存放下载的内容。(当然,对应线程一列不是必要的)。当有线程申请后,将对应线程一列设定为当前线程编号,并将是否申请过一列设置为申请一次,这样,别的线程就无法申请该页。要是下载成功,则将内容存入内容列。要是不成功,内容列仍为空,作为是否再次下载的依据之一,如果反复不成功,则进程将于达到重试次数(对应当地址被申请的次数,用户可设)后,申请下一个Url地址。主要的代码如下(以VFP为例):
 
<建立表>

CREATE TABLE (ctablename) ( curl M , ctext M , ldowned I , threadNum I )
&&树立一个表ctablename.dbf,含有地址、文本内容、已经尝试下载次数、
线程标志(初值为-1,线程标志是从0开始的整数)四个字段

<提取Url地址>

cfullname = (ctablename) + '.dbf'&&为表添加扩展名

USE (cfullname) 

GO TOP

LOCATE FOR (EMPTY( ALLTRIM( ctext ) ) AND ldowned < 2 AND
( threadNum = thisNum OR threadNum = - 1) ) 
&&查找尚未下载成功且应下载的属于本线程权限的Url地址,thisNum是当前线程的编号,
可以通过参数传递得到

gotUrl = curl

recNum = RECNO()

IF recNum <= RECCOUNT() THEN  &&要是在列表中找到这样的Url地址

UPDATE (cfullname) SET ldowned = ( ldowned + 1 ) , threadNum =
thisNum WHERE RECNO() = recNum &&更新表,将此记录更新为已申请,即下载次数加1,
线程标志列设为本线程的编号。
<下载内容>

cfulltablename = (ctablename) + '.dbf'

USE (cfulltablename)

SET EXACT ON

LOCATE FOR curl = (csiteurl) && csiteurl是参数,为下载到的内容所对应的Url地址

recNumNow = RECNO()&&得到含有此地址的记录号

UPDATE (cfulltablename) SET ctext = (ccontent) WHERE RECNO() =
recNumNow &&插入对应地址的对应内容
<插入新地址>

ctablename = (ctablename) + '.dbf'

USE (ctablename)

GO TOP

SET EXACT ON

LOCATE FOR curl = (cnewurl) &&查找有无此地址

IF RECNO() > RECCOUNT() THEN &&要是尚无此地址

SET CARRY OFF

INSERT INTO (ctablename) ( curl , ctext , ldowned , threadNum )
VALUES ( (cnewurl) , "" , 0 , -1 )  &&将主页地址添加到列表 
好了,这样就解决了多线程中,线程冲突。当然,去重问题也可以在C#语言内解决,只根创建一个临时文件(文本就可以),保存所有的Url地址,差对它们设置相应的属性即可,但查找效率可能不及数据库快。
3.线程结束是很难判断的,因为它总是在查找新的链接。用者认为可以假设:线程重复N次以后还是没有能申请到新的Url地址,那么可以觉得它已经下载完了所有链接。主要代码如下:
 
string url = "";

int times = 0;

while ( url == "" )//要是没有找到符合条件的记录,则不断地寻觅符合条件的记录

{

url = getUrl.GetAUrl( …… );//调用GetAUrl方法,试图得到一个url值

if ( url == "" )//要是没有找到

{

times ++;//尝试次数自增

continue; //进行下一次尝试

}
if ( times > N ) //要是已经尝试够了次数,则退出进程

{

downloadThread[i].Abort; //退出进程

}
else//如果没有尝试够次数

{

Times = 0; //尝试次数归零处理

}

//进行下一步针对得到的Url的处理


4.这个问题相对简单,因为在问题一中已经提议,将线程声名为类级数组,这样就很易于操纵。只要用一个for循环即可结束。代码如下:
 
for( int i = 0; i < n; i++ )//关闭指定数量n的线程数

{

downloadThread[i].Abort();//逐个关闭线程

}  
好了,一个蜘蛛程序就这样完成了,在C#面前,它的实现本来如此简单。
这里笔者还想提醒读者:笔者只是提供了一个思路及一个可以实现的解决方案,但它并不是最佳的,纵使这个方案本身,也有好多可以改进的地方,留给读者思索。
最后说明一下我所使用的环境:
winXP sp2 Pro

VFP 9.0

Visual Studio 2003 .net中文企业版

1、数据采集基本功能 1)支持多任务、多线程数据采集,同时支持一个采集任务多个 多线程、高性能采集器爬虫.net版源码,可采ajax页面 实例运行,即将采集任务规则与采集任务运行进行剥离,方便采集任务的配置、跟踪管理; 2)支持GET、POST请求方式,支持cookie,可满足需身份认真的数据采集,cookie可预先存储,也可实时获取; 3)支持用户自定义的HTTP Header,通过此功能用户可完全模拟浏览器的请求操作,可满足所有的网页请求要求,此功能在数据web发布时尤为有用; 4)采集网址支持数字、字母、日期、自定义字典、外部数据等多种参数,最大化的简化采集网址的配置,从而达到批量化采集的目的; 5)采集网址支持导航操作(即从入口页面自动跳转到需要采集数据的页面),且导航规则支持复杂规则,导航级别不限,可进行多层网址导航; 6)支持采集网址自动翻页、导航层自动翻页,定义翻页规则后系统会自动翻页进行数据采集,同时此功能也可用户分页文章的自动合并操作; 7)网络矿工支持级联采集,即在导航基础上,可自动将不同级别的数据采集下来,并自动合并,此功能也可称为分页采集; 8)网络矿工支持翻页数据合并,即可将多页数据进行合并,典型应用为同一篇文章多页显示,系统翻页采集并合并为一条数据进行输出; 9)数据采集支持文件下载操作,可下载文件、图片、flash等内容; 10)可进行ajax技术构成网页数据的采集; 11)采集规则支持特殊符号的定义,譬如:16进制0x01的非法字符; 12)采集规则支持限定符操作,可精确匹配需要获取的数据; 13)采集网址支持:UTF-8、GB2312、Base64、Big5等编码,同时可自动识别&等符号;网页编码支持:UTF-8、GB2312、Big5等编码; 14)无论是采集网址还是采集规则都支持限定范围及自定义正则; 2、数据采集高级功能 1)支持采集延时操作,可控制系统采集频率,降低对目标网站的访问压力; 2)断点续采模式,及数据实时存储保护用户采集投资,注意:此模式仅限于非大数据量的采集; 3)支持大数据量采集,即实时采集实时入库,不会对系统性能造成任何影响; 4)提供强大的数据加工操作,并可配置多条规则对所采数据同时进行加工: a)支持字符串截取、替换、附加等操作; b)支持采集数据的输出控制,输出含有指定的条件,删除含有指定的条件; c)支持正则表达式替换; b)支持U码转汉字; 5)可自动输出所采页面地址及采集时间,提供采集日志; 6)所采数据可自动保存为文本文件、excel文件,也可自动存储到数据库,数据库支持Access、MSSqlServer、MySql,同时在数据存储过程中还可自动去重重复行,避免数据重复; 7)所采数据也可自动发布到网站,通过配置发布网站参数即可实现数据的在线发布操作(发布配置同采集配置,可定义cookie、HTTP Header等); 8)数据采集支持触发器操作; 9)提供采集规则分析器,辅助用户配置采集规则,并分析错误内容; 10)提供Mini浏览器,可自动捕获网站cookie; 11)支持采集日志,并提供容错处理; 3、触发器 触发器是一种自动化的操作手段,即当满足一定的条件后,系统会自动执行某个操作,利用触发器用户可实现采集任务的连续执行,外部程序的调用,存储过程的调用等。 1)触发器支持两种种触发方式:采集数据完成触发及发布数据完成触发; 2)触发操作支持:执行网络矿工采集任务、执行外部程序、执行存储过程; 4、任务执行计划 定时计划是一种自动化采集数据的手段,用户可根据需要自动控制数据采集的时间、频率; 1)可进行周、日及自定义的时间自动化执行采集任务,并可控制采集任务计划的失效时间; 2)可自动执行的任务有:网络矿工采集任务、外部执行程序及存储过程; 5、网络雷达 网络雷达是一项非常有用的功能,网络雷达主要是根据用户预定规则实现对互联网数据的监控,并按照用于预定的规则进行预警。此功能可用于对网络热门帖子、感兴趣的关键词、商品价格变动的进行监控,并实现对数据的采集。 1)监控源当前仅支持网络矿工
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值