C#使用多线程实现网络爬虫,并且通过网络传输,传到另外的服务器数据库存储

该博客介绍了如何使用C#编写一个网络爬虫,利用多线程抓取指定网站的数据。爬虫从一个起始URL开始,通过正则表达式提取链接,将数据通过HTTP发送到另一服务器的数据库存储。博客涵盖了线程同步、HTTP请求、正则匹配以及数据传输等关键点。
摘要由CSDN通过智能技术生成
using System;
using System.Net;
using System.IO;
using System.Collections;
using System.Collections.Generic;
using System.Text.RegularExpressions;
using System.Text;
using System.Threading;
namespace spider
{
class MainClass
{


private string basicurl;
private string mtch=@"http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)? ";
private string myurl=@"http://kysysgl.nwsuaf.edu.cn/index.php?m=Ss&a=add";
private Dictionary <String,int> dict=new Dictionary <string,int>();
List <string> l = new  List<string> ();
private int now = 0;
private int filen=0;
int x=0;
public MainClass()
{


 


dict.Add (@"http://202.117.179.110/ListTeacher.jsp",0);
l.Add (@"http://202.117.179.110/ListTeacher.jsp");
string url;


//在这里可以开启四个线程,但是需要同时进行互斥锁保证,list的数据不被重复执行。
var q = 0;
while (now<100000) {
 
if(now>=dict.Count)
{




continue;
}
 
 
try
{


 

// Thread one=new Thread(geturl);
          geturl(l[now++]);




        // one.Start(l[now++]);


 


}


catch (Exception e)
{




}
 
//Console.WriteLine(l[now]);

 
 
}


}




public void sayhello()
{


}


public  void  geturl(object u)
{


string url = u.ToString ();


//Console.WriteLine ("address"+url);
try
{
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);  
WebResponse response = request.GetResponse();  
Stream resStream = response.GetResponseStream();  
StreamReader sr = new StreamReader(resStream,System.Text.Encoding.GetEncoding("gbk"));  
 




addurl (sr,url);

}


catch (Exception e){

return ;

}


}
描述:由C#编写的多线程异步抓取网页的网络爬虫控制台程序 功能:目前只能提取网络链接,所用的两个记录文件并不需要很大。网页文本、图片、视频和html代码暂时不能抓取,请见谅。 但需要注意,网页的数目是非常庞大的,如下代码理论上大概可以把整个互联网网页链接都抓下来。 但事实上,由于处理器功能和网络条件(主要是网速)限制,一般的家用电脑最多能胜任12个线程左右的抓取任务,抓取速度有限。可以抓取,但需要时间和耐心。 当然,这个程序把所有链接抓下来是可能的,因为链接占系统空间并不多,而且有记录文件的帮助,已抓取网页的数量可以堆积下去, 甚至可以把所有的互联网网络链接都存取下来,当然,最好是分批次。建议设置maxNum为500-1000左右,慢慢累积下去。 另外因为是控制台程序,有时候显示字符过多会系统会暂停显示,这时候只要点击控制台按下回车键就可以了。程序假死的时候,可以按回车键(Enter)试试。 /// 使用本程序,请确保已创建相应的记录文件,出于简化代码的考虑,本程序做的并不健壮,请见谅。 /// 默认的文件创建在E盘根目录“已抓取网址.txt”和“待抓取网址.txt”这两个文本文件中,使用者需要自行创建这两个文件,注意后缀名不要搞错。 这两个文件里面的链接基本都是有效链接,可以单独处理使用。 本爬虫程序的速度如下: 10线程最快大概500个链接每分钟 6-8线程最快大概400-500个链接每分钟 2-4线程最快大概200-400个链接每分钟 单线程最快大概70-100个链接每分钟 之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值