记一次C#的web模拟登录抓取

最新推荐文章于 2024-08-06 08:15:48 发布

DoveFeng

最新推荐文章于 2024-08-06 08:15:48 发布

阅读量3.7k

点赞数

分类专栏： C++

C++ 专栏收录该内容

28 篇文章 0 订阅

订阅专栏

模拟登录的文章有很多，代码也有很多，但是缺少详细的关于如何抓取登录时的请求内容，以及我在模拟登录过程中出现的一些问题。

实现步骤；

使用抓包工具（这里使用360浏览器自带的工具）抓取登录动作时我们向服务法送的请求的内容
使用httpwebrequest模拟请求，然后获取应答内容，保存cookie；使用保存的cookie发起需要获取页面的请求获取页面内容。

以艺龙旅行网为例子：

首先打开艺龙的登录页面，在360浏览器的右上方有个工具，点开--》选择开发人员工具--》切换到Network栏目--》将左下角的黑色实心圆圈点成红色，开启跨页面记录。如下图

点击登录我们看看会发生什么。

如下图，第一条就是我们请求登录的信息，点击打开查看具体内容。

如下图，右侧的地址就是我们模拟登陆时要发起登录请求的地址

如下图，右侧往下拉Form Data就是我们登录时发送请求时发送的内容。

</pre><pre name="code" class="csharp"> private void btnASPNET_Click(object sender, EventArgs e)
        {
            Dictionary<string, string> postParams = new Dictionary<string, string>();
            postParams.Add("actiondo", "login");
            postParams.Add("loginname", "你的艺龙账号");
            postParams.Add("pwd", "你的艺龙密码");
            postParams.Add("vcode", "");
            postParams.Add("cardno", "");
            postParams.Add("isRememberMe", "true");
            postParams.Add("language", "cn");
            postParams.Add("viewpath", "~/views/myelong/passport/login.aspx");

textBox1.Text = GetAspNetCodeResponseDataFromWebSite(postParams, "https://secure.elong.com/passport/isajax/Login/LoginAgent", "http://my.elong.com/me_personalcenter_cn?rnd=20150819161909");
}

        private string GetAspNetCodeResponseDataFromWebSite(Dictionary<string, string> postParams, string getViewStateAndEventValidationLoginUrl, string getDataUrl)
        {

            try
            {
                CookieContainer cookieContainer = new CookieContainer();

                ///
                // 1.打开 MyLogin.aspx 页面，获得 GetVeiwState & EventValidation
                ///
                // 设置打开页面的参数
                HttpWebRequest request = WebRequest.Create(getViewStateAndEventValidationLoginUrl) as HttpWebRequest;
                request.Method = "GET";
                request.KeepAlive = false;
                request.AllowAutoRedirect = false;

                // 接收返回的页面
                HttpWebResponse response = request.GetResponse() as HttpWebResponse;
                System.IO.Stream responseStream = response.GetResponseStream();
                System.IO.StreamReader reader = new System.IO.StreamReader(responseStream, Encoding.UTF8);
                string srcString = reader.ReadToEnd();

                ///
                // 2.自动填充并提交 Login.aspx 页面，提交Login.aspx页面，来保存Cookie
                ///

                // 要提交的字符串数据。格式形如:user=uesr1&password=123
                string postString = "";
                foreach (KeyValuePair<string, string> de in postParams)
                {
                    //把提交按钮中的中文字符转换成url格式，以防中文或空格等信息
                    postString += System.Web.HttpUtility.UrlEncode(de.Key.ToString()) + "=" + System.Web.HttpUtility.UrlEncode(de.Value.ToString()) + "&";
                }

// 将提交的字符串数据转换成字节数组
byte[] postData = Encoding.ASCII.GetBytes(postString);

                // 设置提交的相关参数
                request = WebRequest.Create(getViewStateAndEventValidationLoginUrl) as HttpWebRequest;
                request.Method = "POST";
                request.KeepAlive = false;
                request.ContentType = "application/x-www-form-urlencoded";
                request.CookieContainer = cookieContainer;
                request.ContentLength = postData.Length;
                request.AllowAutoRedirect = false;

                // 提交请求数据
                System.IO.Stream outputStream = request.GetRequestStream();
                outputStream.Write(postData, 0, postData.Length);
                outputStream.Close();

                ///
                // 3.打开需要抓取数据的页面
                ///
                // 设置打开页面的参数
                request = WebRequest.Create(getDataUrl) as HttpWebRequest;
                request.Method = "GET";
                request.KeepAlive = false;
                request.CookieContainer = cookieContainer;

                // 接收返回的页面
                response = request.GetResponse() as HttpWebResponse;
                responseStream = response.GetResponseStream();
                reader = new System.IO.StreamReader(responseStream, Encoding.UTF8);
                srcString = reader.ReadToEnd();
                return srcString;
                ///
                // 4.分析返回的页面
                ///
                // ...... ......
            }
            catch (WebException we)
            {
                string msg = we.Message;
                return msg;
            }
        }