异步网络编程之图片批量抓取下载（C#）

支持

    MSDN上 异步网络编程的例子是我0.2版的核心所在

运行环境

    .NET Framework2.0

开发工具

    Microsoft Visual Studio 2005

正题

    一.    先贴一张图，这个界面就是程序的主界面了：

    

    二.    部分代码说明(主要讲解异步分析和下载)：

          异步分析下载采取的策略是同时分析同时下载，即未等待数据全部分析完毕就开始把已经分析出来的图片链接开始下载。下载成功的均在List框链接前面划上了√ ，未能下载的图片有可能是分析错误或者是下载异常。

        1.    异步分析部分代码

1.         /// <summary>
   
2.         /// 异步分析下载
   
3.         /// </summary>
   
4.         private void AsyncAnalyzeAndDownload(string url, string savePath)
   
5.         {
   
6.             this.uriString = url;
   
7.             this.savePath = savePath;
   
8. 
   
9.             #region 分析计时开始
   
10. 
    
11.             count = 0;
    
12.             count1 = 0;
    
13.             freq = 0;
    
14.             result = 0;
    
15. 
    
16.             QueryPerformanceFrequency(ref freq);
    
17.             QueryPerformanceCounter(ref count);
    
18. 
    
19.             #endregion
    
20. 
    
21.             using (WebClient wClient = new WebClient())
    
22.             {
    
23.                 AutoResetEvent waiter = new AutoResetEvent(false);
    
24.                 wClient.Credentials = CredentialCache.DefaultCredentials;
    
25.                 wClient.DownloadDataCompleted += new DownloadDataCompletedEventHandler(AsyncURIAnalyze);
    
26.                 wClient.DownloadDataAsync(new Uri(uriString), waiter);
    
27.                 //waiter.WaitOne();    //阻止当前线程，直到收到信号
    
28.             }
    
29.                 
    
30.         }
    
31. 
    
32.         /// <summary>
    
33.         /// 异步分析
    
34.         /// </summary>
    
35.         protected void AsyncURIAnalyze(Object sender, DownloadDataCompletedEventArgs e)
    
36.         {
    
37.             AutoResetEvent waiter = (AutoResetEvent)e.UserState;
    
38.             try
    
39.             {
    
40.                 if (!e.Cancelled && e.Error == null)
    
41.                 {
    
42.                     
    
43.                     string dnDir = string.Empty;
    
44.                     string domainName = string.Empty;
    
45.                     string uri = uriString;
    
46. 
    
47.                     //获得域名 [url]http://www.sina.com/[/url]
    
48.                     Match match = Regex.Match(uri, @"((http(s)?://)?)+[\w-.]+[^/]");//, RegexOptions.IgnoreCase
    
49.                     domainName = match.Value;
    
50. 
    
51.                     //获得域名最深层目录 [url]http://www.sina.com/mail/[/url]
    
52.                     if (domainName.Equals(uri))
    
53.                         dnDir = domainName;
    
54.                     else
    
55.                         dnDir = uri.Substring(0, uri.LastIndexOf('/'));
    
56. 
    
57.                     dnDir += '/';
    
58.                     
    
59.                     //获取数据
    
60.                     string pageData = Encoding.UTF8.GetString(e.Result);
    
61.                     List<string> urlList = new List<string>();
    
62. 
    
63.                     //匹配全路径
    
64.                     match = Regex.Match(pageData, @"((http(s)?://)?)+(((/?)+[\w-.]+(/))*)+[\w-./]+\.+(" + ImageType + ")"); //, RegexOptions.IgnoreCase
    
65.                     while (match.Success)
    
66.                     {
    
67.                         string item = match.Value;
    
68.                         //短路径处理
    
69.                         if (item.IndexOf("http://") == -1 && item.IndexOf("https://") == -1)
    
70.                             item = (item[0] == '/' ? domainName : dnDir) + item;
    
71. 
    
72.                         if (!urlList.Contains(item))
    
73.                         {
    
74.                             urlList.Add(item);
    
75.                             imgUrlList.Add(item);
    
76. 
    
77.                             //实时显示分析结果
    
78.                             AddlbShowItem(item);
    
79. 
    
80.                             //边分析边下载
    
81.                             WebRequest hwr = WebRequest.Create(item);
    
82.                             hwr.BeginGetResponse(new AsyncCallback(AsyncDownLoad), hwr);
    
83.                             //hwr.Timeout = "0x30D40";        //默认 0x186a0 -> 100000 0x30D40 -> 200000
    
84.                             //hwr.Method = "POST";
    
85.                             //hwr.C;
    
86.                             //hwr.MaximumAutomaticRedirections = 3;
    
87.                             //hwr.Accept ="image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/vnd.ms-excel, application/vnd.ms-powerpoint, application/msword, */*";
    
88.                             //hwr.Accept = "image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*";
    
89.                             //IAsyncResult iar = hwr.BeginGetResponse(new AsyncCallback(AsyncDownLoad), hwr);
    
90.                             //iar.AsyncWaitHandle.WaitOne();
    
91.                         }
    
92.                         match = match.NextMatch();
    
93.                     }
    
94.                 }
    
95.             }
    
96.             finally
    
97.             {
    
98.                 waiter.Set();
    
99. 
    
100.                 #region 分析计时结束
     
101. 
     
102.                 QueryPerformanceCounter(ref count1);
     
103.                 count = count1 - count;
     
104.                 result = (double)(count) / (double)freq;
     
105. 
     
106.                 toolStripStatusLabel1.Text = "分析完毕！";
     
107.                 toolStripStatusLabel2.Text = string.Format(" | 分析耗时:{0}秒", result);
     
108.                 Application.DoEvents();
     
109. 
     
110.                 #endregion
     
111. 
     
112.                 //分析完毕
     
113.                 isAnalyzeComplete = true;
     
114.             }
     
115.         }
     

复制代码

这两个方法主要是用WebClient来请求然后异步获得网址所返回的数据并对数据分析，提取图片链接，提取主要有两种方式：一种是完整路径的图片链接；一种是短路径的链接，比如/images/bg.gif，程序会自动为其加上域名部分组成完整的链接。

    2.    异步下载部分代码

1.         /// <summary>
   
2.         /// 异步接受数据
   
3.         /// </summary>
   
4.         /// <param name="asyncResult"></param>
   
5.         public  void AsyncDownLoad(IAsyncResult asyncResult)  
   
6.         {
   
7.             #region 下载计时开始
   
8. 
   
9.             if (cfreq == 0)
   
10.             {
    
11.                 QueryPerformanceFrequency(ref cfreq);
    
12.                 QueryPerformanceCounter(ref ccount);
    
13.             }
    
14. 
    
15.             #endregion
    
16. 
    
17.             WebRequest request = (WebRequest)asyncResult.AsyncState;
    
18.             string url = request.RequestUri.ToString();
    
19.             try
    
20.             {
    
21.                 WebResponse response = request.EndGetResponse(asyncResult);
    
22.                 using (Stream stream = response.GetResponseStream())
    
23.                 {
    
24.                     Image img = Image.FromStream(stream);
    
25.                     string[] tmpUrl = url.Split('.');
    
26.                     img.Save(string.Concat(savePath, "/", DateTime.Now.ToString("yyyyMMddHHmmssfff"), ".", tmpUrl[tmpUrl.Length - 1]));
    
27.                     img.Dispose();
    
28.                     stream.Close();
    
29.                 }
    
30.                 allDone.Set();
    
31. 
    
32.                 //从未下载的列表中删除已经下载的图片
    
33.                 imgUrlList.Remove(url);
    
34. 
    
35.                 //更新列表框
    
36.                 int indexItem = this.lbShow.Items.IndexOf(url);
    
37.                 if (indexItem >= 0 && indexItem <= this.lbShow.Items.Count)
    
38.                     SetlbShowItem(indexItem);
    
39.             }
    
40.             catch (Exception)
    
41.             {
    
42.                 imgUrlList.Remove(url);
    
43.             }
    
44.         }
    

复制代码

这部分就是异步下载图片并保存的代码，调用部分请看AsyncURIAnalyze方法分析图片链接匹配成功后就开始进行图片下载，每下载完一张图片就更新显示在界面正下方List框内(在链接前标记√ )。  

    篇幅有限，还有一起其他重要的代码如 实时显示分析和下载结果 的代码请下载源代码查看。另外需要注意的是输入需要下载图片的网址的时候需要输入完整的链接，带http如 http://www.sina.com 。

程序和代码

执行文件和源码下载：

IBD_exe.rar

ImagesBatchDownloading2008-8-21.rar