[C#学习笔记之异步编程模式3]异步下载web网页

这是对上篇博文提到的IAsyncResult异步调用模式的一个实例应用,所用到的知识有:

  1. 通过异步回调函数实现异步操作
  2. 通过类实现给异步回调函数传递附加信息
  3. 在子线程中通过异步回调的方式通知主线程执行结果
  4. WebRequest和WebResponse的操作

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Net;
using System.IO;
using System.Windows.Forms;

namespace DownLoadPageFromWeb
{
    class Program
    {
        /// <summary>
        /// 异步回调函数
        /// </summary>
        /// <param name="ar"></param>
        static void DownloadFinished(IAsyncResult ar)
        {
            try
            {
                //传入回调函数的附加信息可以通过IAsyncResult.AsyncState接收
                DownLoadTask task = ar.AsyncState as DownLoadTask;
                WebResponse response = task.WebRequestObject.EndGetResponse(ar);
                string FileContent="";
                //从internet返回需要的输入流
                using(StreamReader reader=new StreamReader(response.GetResponseStream(),Encoding.GetEncoding("gb2312")))
                {
                    FileContent = reader.ReadToEnd();
                }
                //写入文件
                using (StreamWriter writer = new StreamWriter(new FileStream(task.SaveToFileName, FileMode.Create), Encoding.GetEncoding("gb2312")))
                {
                     writer.Write(FileContent);
                }   
                MessageBox.Show(string.Format("“{0}”下载完成!", task.SaveToFileName));
            }
            catch (Exception ex)
            {
                MessageBox.Show(ex.Message);
            }
        }

        static void Main(string[] args)
        {
            string UserInputUrl = "";
            string FileName = "";
            Console.WriteLine("输入URL启动一个异步下载Web文件任务,输入quit退出。");
            do
            {
                Console.Write("\n输入Web文件的URL:");
                UserInputUrl = Console.ReadLine();
                if (string.IsNullOrEmpty(UserInputUrl))
                {
                    Console.WriteLine("不能输入一个空的URL字串");
                    continue;
                }
                if (UserInputUrl.ToLower() == "quit")
                    break;
                Console.Write("输入要保存的文件名:");
                FileName = Console.ReadLine();
                if (string.IsNullOrEmpty(FileName))
                {
                    Console.WriteLine("不能输入一个空的URL字串");
                    continue;
                }
                if (FileName.ToLower() == "quit")
                    break;

                if (UserInputUrl.ToLower() == "quit")
                    break;
                try
                {
                    Uri webFileUri = new Uri(UserInputUrl);
                    WebRequest webRequest = WebRequest.Create(webFileUri);

                    //DownLoadTask用于向回调函数传递附加信息
                    DownLoadTask task = new DownLoadTask { SaveToFileName = FileName, WebRequestObject = webRequest };
                    Console.WriteLine("已在后台启动下载{0}", FileName);

                    //BeginGetResponse 方法开始对 Internet 资源响应的异步请求。异步回调方法使用 EndGetResponse 方法返回实际的 WebResponse。第一个参数是AsyncCallback 委托(回调函数),第二个参数是附加信息
                    webRequest.BeginGetResponse(DownloadFinished, task);
                }
                catch (Exception ex)
                {
                    Console.WriteLine(ex.Message);
                }
            } while (true);
            Console.WriteLine("\n敲任意键结束本示例程序...");
            Console.ReadKey();
        }
    }
}

输入一个URI,再输入一个文件,将指定的URI的内容下载保存在文件中!

描述:由C#编写的多线程异步抓取网页的网络爬虫控制台程序 功能:目前只能提取网络链接,所用的两个记录文件并不需要很大。网页文本、图片、视频和html代码暂时不能抓取,请见谅。 但需要注意,网页的数目是非常庞大的,如下代码理论上大概可以把整个互联网网页链接都抓下来。 但事实上,由于处理器功能和网络条件(主要是网速)限制,一般的家用电脑最多能胜任12个线程左右的抓取任务,抓取速度有限。可以抓取,但需要时间和耐心。 当然,这个程序把所有链接抓下来是可能的,因为链接占系统空间并不多,而且有记录文件的帮助,已抓取网页的数量可以堆积下去, 甚至可以把所有的互联网网络链接都存取下来,当然,最好是分批次。建议设置maxNum为500-1000左右,慢慢累积下去。 另外因为是控制台程序,有时候显示字符过多会系统会暂停显示,这时候只要点击控制台按下回车键就可以了。程序假死的时候,可以按回车键(Enter)试试。 /// 使用本程序,请确保已创建相应的记录文件,出于简化代码的考虑,本程序做的并不健壮,请见谅。 /// 默认的文件创建在E盘根目录“已抓取网址.txt”和“待抓取网址.txt”这两个文本文件中,使用者需要自行创建这两个文件,注意后缀名不要搞错。 这两个文件里面的链接基本都是有效链接,可以单独处理使用。 本爬虫程序的速度如下: 10线程最快大概500个链接每分钟 6-8线程最快大概400-500个链接每分钟 2-4线程最快大概200-400个链接每分钟 单线程最快大概70-100个链接每分钟 之所以用多线程异步抓取完全是出于效率考虑,本程序多线程同步并不能带来速度的提升,只要抓取的网页不要太多重复和冗余就可以,异步并不意味着错误。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值