在C#用HttpWebRequest中发送GET/HTTP/HTTPS请求

  在C#用HttpWebRequest中发送GET/HTTP/HTTPS请求 
 这个需求来自于我最近练手的一个项目，在项目中我需要将一些自己发表的和收藏整理的网文集中到一个地方存放，如果全部采用手工操作工作量大而且繁琐，因此周公决定利用C#来实现。在很多地方都需要验证用户身份才可以进行下一步操作，这就免不了POST请求来登录，在实际过程中发现有些网站登录是HTTPS形式的，在解决过程中遇到了一些小问题，现在跟大家分享。
 通用辅助类
 下面是我编写的一个辅助类，在这个类中采用了HttpWebRequest中发送GET/HTTP/HTTPS请求，因为有的时候需要获取认证信息（如Cookie），所以返回的是HttpWebResponse对象，有了返回的HttpWebResponse实例，可以获取登录过程中返回的会话信息，也可以获取响应流。
 代码如下：
1using System;  
2using System.Collections.Generic;  
3using System.Linq;  
4using System.Text;  
5using System.Net.Security;  
6using System.Security.Cryptography.X509Certificates;  
7using System.DirectoryServices.Protocols;  
8using System.ServiceModel.Security;  
9using System.Net;  
10using System.IO;  
11using System.IO.Compression;  
12using System.Text.RegularExpressions;  
13namespace BaiduCang  
14{  
15    /// <summary>  
16    /// 有关HTTP请求的辅助类  
17    /// </summary>  
18    public class HttpWebResponseUtility  
19    {  
20        private static readonly string DefaultUserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)";  
21        /// <summary>  
22        /// 创建GET方式的HTTP请求  
23        /// </summary>  
24        /// <param name="url">请求的URL</param>  
25        /// <param name="timeout">请求的超时时间</param>  
26        /// <param name="userAgent">请求的客户端浏览器信息，可以为空</param>  
27        /// <param name="cookies">随同HTTP请求发送的Cookie信息，如果不需要身份验证可以为空</param>  
28        /// <returns></returns>  
29        public static HttpWebResponse CreateGetHttpResponse(string url,int? timeout, string userAgent,CookieCollection cookies)  
30        {  
31            if (string.IsNullOrEmpty(url))  
32            {  
33                throw new ArgumentNullException("url");  
34            }  
35            HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;  
36            request.Method = "GET";  
37            request.UserAgent = DefaultUserAgent;  
38            if (!string.IsNullOrEmpty(userAgent))  
39            {  
40                request.UserAgent = userAgent;  
41            }  
42            if (timeout.HasValue)  
43            {  
44                request.Timeout = timeout.Value;  
45            }  
46            if (cookies != null)  
47            {  
48                request.CookieContainer = new CookieContainer();  
49                request.CookieContainer.Add(cookies);  
50            }  
51            return request.GetResponse() as HttpWebResponse;  
52        }  
53        /// <summary>  
54        /// 创建POST方式的HTTP请求  
55        /// </summary>  
56        /// <param name="url">请求的URL</param>  
57        /// <param name="parameters">随同请求POST的参数名称及参数值字典</param>  
58        /// <param name="timeout">请求的超时时间</param>  
59        /// <param name="userAgent">请求的客户端浏览器信息，可以为空</param>  
60        /// <param name="requestEncoding">发送HTTP请求时所用的编码</param>  
61        /// <param name="cookies">随同HTTP请求发送的Cookie信息，如果不需要身份验证可以为空</param>  
62        /// <returns></returns>  
63        public static HttpWebResponse CreatePostHttpResponse(string url,IDictionary<string,string> parameters,int? timeout, string userAgent,Encoding requestEncoding,CookieCollection cookies)  
64        {  
65            if (string.IsNullOrEmpty(url))  
66            {  
67                throw new ArgumentNullException("url");  
68            }  
69            if(requestEncoding==null)  
70            {  
71                throw new ArgumentNullException("requestEncoding");  
72            }  
73            HttpWebRequest request=null;  
74            //如果是发送HTTPS请求  
75            if(url.StartsWith("https",StringComparison.OrdinalIgnoreCase))  
76            {  
77                ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult);  
78                request = WebRequest.Create(url) as HttpWebRequest;  
79                request.ProtocolVersion=HttpVersion.Version10;  
80            }  
81            else  
82            {  
83                request = WebRequest.Create(url) as HttpWebRequest;  
84            }  
85            request.Method = "POST";  
86            request.ContentType = "application/x-www-form-urlencoded";  
87              
88            if (!string.IsNullOrEmpty(userAgent))  
89            {  
90                request.UserAgent = userAgent;  
91            }  
92            else  
93            {  
94                request.UserAgent = DefaultUserAgent;  
95            }  
96  
97            if (timeout.HasValue)  
98            {  
99                request.Timeout = timeout.Value;  
100            }  
101            if (cookies != null)  
102            {  
103                request.CookieContainer = new CookieContainer();  
104                request.CookieContainer.Add(cookies);  
105            }  
106            //如果需要POST数据  
107            if(!(parameters==null||parameters.Count==0))  
108            {  
109                StringBuilder buffer = new StringBuilder();  
110                int i = 0;  
111                foreach (string key in parameters.Keys)  
112                {  
113                    if (i > 0)  
114                    {  
115                        buffer.AppendFormat("&{0}={1}", key, parameters[key]);  
116                    }  
117                    else  
118                    {  
119                        buffer.AppendFormat("{0}={1}", key, parameters[key]);  
120                    }  
121                    i++;  
122                }  
123                byte[] data = requestEncoding.GetBytes(buffer.ToString());  
124                using (Stream stream = request.GetRequestStream())  
125                {  
126                    stream.Write(data, 0, data.Length);  
127                }  
128            }  
129            return request.GetResponse() as HttpWebResponse;  
130        }  
131  
132        private static bool CheckValidationResult(object sender, X509Certificate certificate, X509Chain chain, SslPolicyErrors errors)  
133        {  
134            return true; //总是接受  
135        }  
136    }  
137}  




 从上面的代码中可以看出POST数据到HTTP和HTTPS站点不同，POST数据到HTTPS站点的时候需要设置ServicePointManager类的ServerCertificateValidationCallback属性，并且在POST到https://passport.baidu.com/?login时还需要将HttpWebResquest实例的ProtocolVersion属性设置为HttpVersion.Version10（这个未验证是否所有的HTTPS站点都需要设置），否则在调用GetResponse()方法时会抛出“基础连接已经关闭: 连接被意外关闭。”的异常。
 
 用法举例
 这个类用起来也很简单：
 （1）POST数据到HTTPS站点，用它来登录百度：
138string loginUrl = "https://passport.baidu.com/?login";  
139string userName = "userName";  
140string password = "password";  
141string tagUrl = "http://cang.baidu.com/"+userName+"/tags";  
142Encoding encoding = Encoding.GetEncoding("gb2312");  
143  
144IDictionary<string, string> parameters = new Dictionary<string, string>();  
145parameters.Add("tpl", "fa");  
146parameters.Add("tpl_reg", "fa");  
147parameters.Add("u", tagUrl);  
148parameters.Add("psp_tt", "0");  
149parameters.Add("username", userName);  
150parameters.Add("password", password);  
151parameters.Add("mem_pass", "1");  
152HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, encoding, null);  
153string cookieString = response.Headers["Set-Cookie"];  




 （2）发送GET请求到HTTP站点
 在cookieString中包含了服务器端返回的会话信息数据，从中提取了之后可以设置Cookie下次登录时带上这个Cookie就可以以认证用户的信息，假设我们已经登录成功并且获取了Cookie，那么发送GET请求的代码如下：
154string userName = "userName";  
155string tagUrl = "http://cang.baidu.com/"+userName+"/tags";  
156CookieCollection cookies = new CookieCollection();//如何从response.Headers["Set-Cookie"];中获取并设置CookieCollection的代码略  
157response = HttpWebResponseUtility.CreateGetHttpResponse(tagUrl, null, null, cookies);  




 (3)发送POST请求到HTTP站点
 以登录51CTO为例
158string loginUrl = "http://home.51cto.com/index.php?s=/Index/doLogin";  
159string userName = "userName";  
160string password = "password";  
161  
162IDictionary<string, string> parameters = new Dictionary<string, string>();  
163parameters.Add("email", userName);  
164parameters.Add("passwd", password);  
165  
166HttpWebResponse response = HttpWebResponseUtility.CreatePostHttpResponse(loginUrl, parameters, null, null, Encoding.UTF8, null);