C#获取网页内容 (WebClient、WebBrowser和HttpWebRequest/HttpWebResponse)

获取网页数据有很多种方式。在这里主要讲述通过WebClient、WebBrowser和HttpWebRequest/HttpWebResponse三种方式获取网页内容。

这里获取的是包括网页的所有信息。如果单纯需要某些数据内容。可以自己构造函数甄别抠除出来！一般的做法是根据源码的格式，用正则来过滤出你需要的内容部分。

一、通过WebClient获取网页内容

这是一种很简单的获取方式，当然，其它的获取方法也很简单。在这里首先要说明的是，如果为了实际项目的效率考虑，需要考虑在函数中分配一个内存区域。大概写法如下

[csharp] view plain copy print ?

1. //MemoryStream是一个支持储存区为内存的流。
2. byte[] buffer = new byte[1024];
3. using (MemoryStream memory = new MemoryStream())
4. {
5. int index = 1, sum = 0;
6. while (index * sum < 100 * 1024)
7. {
8. index = reader.Read(buffer, 0, 1024);
9. if (index > 0)
10. {
11. memory.Write(buffer, 0, index);
12. sum += index;
13. }
14. }
15. //网页通常使用utf-8或gb2412进行编码
16. Encoding.GetEncoding("gb2312").GetString(memory.ToArray());
17. if (string.IsNullOrEmpty(html))
18. {
19. return html;
20. }
21. else
22. {
23. Regex re = new Regex(@"charset=(? charset[/s/S]*?)[ |']");
24. Match m = re.Match(html.To