【转载】C#网页采集数据的几种方式(WebClient、WebBrowser和HttpWebRequest/HttpWebResponse)

获取网页数据有很多种方式。在这里主要讲述通过WebClient、WebBrowser和HttpWebRequest/HttpWebResponse三种方式获取网页内容。

这里获取的是包括网页的所有信息。如果单纯需要某些数据内容。可以自己构造函数甄别抠除出来！一般的做法是根据源码的格式，用正则来过滤出你需要的内容部分。

一、通过WebClient获取网页内容

这是一种很简单的获取方式，当然，其它的获取方法也很简单。在这里首先要说明的是，如果为了实际项目的效率考虑，需要考虑在函数中分配一个内存区域。大概写法如下

[csharp] view plain copy print ?

1. //MemoryStream是一个支持储存区为内存的流。  
2.  byte[] buffer = new byte[1024];  
3.  using (MemoryStream memory = new MemoryStream())  
4.     {  
5.     int index = 1, sum = 0;  
6.     while (index * sum < 100 * 1024)  
7.     {  
8.        index = reader.Read(buffer, 0, 1024);  
9.