[C#]基于HttpWebRequest和HttpWebResponse的自动登录采集

最新推荐文章于 2024-09-25 17:26:04 发布
最新推荐文章于 2024-09-25 17:26:04 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： .net 文章标签： c# encoding string url webbrowser html
 

C#中实现POST的方法很多，常用的是WebBrowser、WebClient、HttpWebRequest和HttpWebResponse。

1、WebBrowser基本是在DocumentCompleted中分析HtmlDocument ；

2、WebClient是对HttpWebRequest和HttpWebResponse的封装，用起来更方便，但是灵活性还是不及HttpWebRequest和HttpWebResponse；

3、HttpWebRequest和HttpWebResponse更底层，灵活度更好，不过代码更多，我做了一个简单的封装，将GET改成分段读取，并加入代理、进度条和错误重试处理。代码如下：

using System;
using System.IO;
using System.Net;
using System.Text;

namespace Van.Base
{
    public class HttpHelper
    {
        #region 委托 事件
        public delegate void dgtProgValueChanged(long Value);
        /// <summary>
        /// 进度改变事件
        /// </summary>
        public event dgtProgValueChanged OnProgValueChanged;
        #endregion

        #region 属性
        /// <summary>
        /// 代理
        /// </summary>
        public WebProxy Proxy { get; set; }
        /// <summary>
        /// Cookie
        /// </summary>
        public CookieContainer UserCookie { get; set; }
        /// <summary>
        /// 重试次数
        /// </summary>
        public int IAfreshTime { get; set; }
        /// <summary>
        /// 错误次数
        /// </summary>
        public int IErrorTime { get; private set; }

        long m_ProgValue = 0;
        /// <summary>
        /// 当前读取字节
        /// </summary>
        public long ProgValue
        {
            get { return m_ProgValue; }
            private set
            {
                m_ProgValue = value;
                if (OnProgValueChanged != null)
                {
                    OnProgValueChanged(value);
                }
            }
        }
        /// <summary>
        /// 待读取最大字节
        /// </summary>
        public long ProgMaximum { get; private set; }

        #endregion

        #region 方法
        #region Get
        /// <summary>
        /// 获取HTML
        /// </summary>
        /// <param name="URL">地址</param>
        /// <param name="Accept">Accept请求头</param>
        /// <returns>Html代码</returns>
        public string GetHTML(string URL, string Accept)
        {
            return GetHTML(URL, Accept, System.Text.Encoding.UTF8);
        }
        /// <summary>
        /// 获取HTML
        /// </summary>
        /// <param name="URL">地址</param>
        /// <param name="Accept">Accept请求头</param>
        /// <param name="encoding">字符编码</param>
        /// <returns>Html代码</returns>
        public string GetHTML(string URL, string Accept, Encoding encoding)
        {
            return GetHTML(URL, Accept, encoding, 1024);
        }
        /// <summary>
        /// 获取HTML
        /// </summary>
        /// <param name="URL">地址</param>
        /// <param name="Accept">Accept请求头</param>
        /// <param name="encoding">字符编码</param>
        /// <param name="bufflen">数据包大小</param>
        /// <returns>Html代码</returns>
        public string GetHTML(string URL, string Accept, Encoding encoding, int bufflen)
        {
            IErrorTime = 0;
            return _GetHTML(URL, Accept, encoding, bufflen);
        }
        /// <summary>
        /// 获取HTML
        /// </summary>
        /// <param name="URL">地址</param>
        /// <param name="Accept">Accept请求头</param>
        /// <param name="encoding">字符编码</param>
        /// <param name="bufflen">数据包大小</param>
        /// <returns>Html代码</returns>
        private string _GetHTML(string URL, string Accept, Encoding encoding,int bufflen)
        {
            try
            {
                HttpWebRequest MyRequest = (HttpWebRequest)HttpWebRequest.Create(URL);
                MyRequest.Proxy = Proxy;
                MyRequest.Accept = Accept;
                if (UserCookie == null)
                {
                    UserCookie = new CookieContainer();
                }
                MyRequest.CookieContainer = UserCookie;
                HttpWebResponse MyResponse = (HttpWebResponse)MyRequest.GetResponse();
                return _GetHTML(MyResponse, encoding, bufflen);
            }
            catch (Exception erro)
            {
                if (erro.Message.Contains("连接") && IAfreshTime - IErrorTime > 0)
                {
                    IErrorTime++;
                    return _GetHTML(URL, Accept, encoding, bufflen);
                }
                throw;
            }
        }
        /// <summary>
        /// 获取HTML
        /// </summary>
        /// <param name="MyResponse"></param>
        /// <param name="encoding">字符编码</param>
        /// <param name="bufflen">数据包大小</param>
        /// <returns></returns>
        private string _GetHTML(HttpWebResponse MyResponse, Encoding encoding, int bufflen)
        {
            using (Stream MyStream = MyResponse.GetResponseStream())
            {
                using (StreamReader reader = new StreamReader(MyStream, encoding))
                {
                    ProgMaximum = MyResponse.ContentLength;
                    string result = null;
                    long totalDownloadedByte = 0;
                    byte[] by = new byte[bufflen];
                    int osize = MyStream.Read(by, 0, by.Length);
                    while (osize > 0)
                    {
                        totalDownloadedByte = osize + totalDownloadedByte;
                        result += encoding.GetString(by, 0, osize);
                        ProgValue = totalDownloadedByte;
                        osize = MyStream.Read(by, 0, by.Length);
                    }
                    reader.Close();
                    return result;
                }
            }
        }
        #endregion


        #region GetImg

        public System.Drawing.Bitmap Getimg(string URL, string Accept)
        {
            return _GetBit(URL, Accept);
        }
        /// <summary>
        /// 获取HTML
        /// </summary>
        /// <param name="URL">地址</param>
        /// <param name="Accept">Accept请求头</param>
        /// <returns>Html代码</returns>
        private System.Drawing.Bitmap _GetBit(string URL, string Accept)
        {
            HttpWebRequest MyRequest = (HttpWebRequest)HttpWebRequest.Create(URL);
            MyRequest.Proxy = Proxy;
            MyRequest.Accept = Accept;
            if (UserCookie == null)
            {
                UserCookie = new CookieContainer();
            }
            MyRequest.CookieContainer = UserCookie;
            HttpWebResponse MyResponse = (HttpWebResponse)MyRequest.GetResponse();
            return _GetBit(MyResponse);
        }

        /// <summary>
        /// 获取图像
        /// </summary>
        /// <param name="MyResponse"></param>
        /// <returns></returns>
        private System.Drawing.Bitmap _GetBit(HttpWebResponse MyResponse)
        {
            using (Stream MyStream = MyResponse.GetResponseStream())
            {
                return new System.Drawing.Bitmap(MyStream);
            }
        }
        #endregion

        #region Post
        /// <summary>
        /// 回发(字符编码默认UTF-8)
        /// </summary>
        /// <param name="URL">回发地址</param>
        /// <param name="PostData">参数</param>
        /// <returns>Html代码</returns>
        public string PostPage(string URL, string PostData)
        {
            return PostPage(URL, PostData, System.Text.Encoding.UTF8);
        }
        /// <summary>
        /// 回发
        /// </summary>
        /// <param name="URL">回发地址</param>
        /// <param name="PostData">参数</param>
        /// <param name="encoding">字符编码</param>
        /// <returns>Html代码</returns>
        public string PostPage(string URL, string PostData, Encoding encoding)
        {
            return PostPage(URL, PostData, encoding, null);
        }
        /// <summary>
        /// 回发
        /// </summary>
        /// <param name="URL">回发地址</param>
        /// <param name="PostData">参数</param>
        /// <param name="encoding">字符编码</param>
        /// <returns>Html代码</returns>
        public string PostPage(string URL, string PostData, Encoding encoding, string ContentType)
        {
            IErrorTime = 0;
            return _PostPage(URL, PostData, encoding, ContentType);
        }
        /// <summary>
        /// 回发
        /// </summary>
        /// <param name="URL">回发地址</param>
        /// <param name="PostData">参数</param>
        /// <param name="encoding">字符编码</param>
        /// <returns>Html代码</returns>
        private string _PostPage(string URL, string PostData, Encoding encoding,string ContentType)
        {
            try
            {
                if (ContentType==null)
                {
                    ContentType = "application/x-www-form-urlencoded";
                }
                HttpWebRequest MyRequest = (HttpWebRequest)HttpWebRequest.Create(URL);
                MyRequest.Proxy = Proxy;
                if (UserCookie == null)
                {
                    UserCookie = new CookieContainer();
                }
                MyRequest.CookieContainer = UserCookie;
                MyRequest.Method = "POST";
                MyRequest.ContentType = ContentType;
                byte[] b = encoding.GetBytes(PostData);
                MyRequest.ContentLength = b.Length;
                using (System.IO.Stream sw = MyRequest.GetRequestStream())
                {
                    try
                    {
                        sw.Write(b, 0, b.Length);
                    }
                    catch
                    {
                    }
                }
                HttpWebResponse MyResponse = (HttpWebResponse)MyRequest.GetResponse();
                return _GetHTML(MyResponse, encoding, 1024);
            }
            catch (Exception erro)
            {
                if (erro.Message.Contains("连接") && IAfreshTime - IErrorTime > 0)
                {
                    IErrorTime++;
                    return _PostPage(URL, PostData, encoding, ContentType);
                }
                throw;
            }
        }
        #endregion
        #endregion
    }
}


 

 

调用便很方便了，如下：

 

string strProxyAdd =  " www.Proxyxxxx.com ", UserName =  " XXXX ",PassWord =  " XXX ";
int port =  8080;


HttpHelper http =  new HttpHelper();
http.Proxy =  new WebProxy(); // 设置代理
this.http.Proxy.Address =  new Uri( string.Format( " http://{0}:{1} ", strProxyAdd,port)); // 设置代理服务器地址和端口
this.http.Proxy.Credentials =  new NetworkCredential(UserName, PassWord); // 设置代理用户名密码
 // http.Proxy = null; // 清空代理

var strPHtml = http.PostPage( " www.xxxx.com ",  " User=ABCD&Pwd=DEF "); // 向www.xxxx.com POST数据User=ABCD&Pwd=DEF

var strHtml = http.GetHTML( " www.xxxx.com ",  " */* ", Encoding.UTF8,  20480); // 从www.xxxx.com获取HTML数据，并用UTF8进行编码

由于Cookie在一个实例中是共用的，在一些场景下可以先POST登录后再GET需要登录才能进入的页面信息。

来源：http://www.cnblogs.com/vanjoge/archive/2011/11/18/2253937.html#commentform

peking2009
关注
专栏目录
C#实现HttpWebRequest发送POST请求实现网站自动登陆 （附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
03-24 155
C#实现HttpWebRequest发送POST请求实现网站自动登陆 （附完整源码）
C#实现通过HttpWebRequest发送POST请求实现网站自动登陆
11-11
C#实现通过HttpWebRequest发送POST请求实现网站自动登陆
探索CefSharp，Cefsharp浏览器能做自动填表和模拟登录
最新发布
dmz1981的专栏
09-25 618
1. Chromium内核： CefSharp基于Chromium Embedded Framework (CEF)，这是一个轻量级的库，用于在任何应用程序中嵌入Chromium浏览器引擎。CefSharp是一个开源项目，它为.NET开发者提供了与Chromium浏览器引擎交互的能力，让您可以轻松地在自己的应用程序中嵌入Web渲染引擎。3. 双向通信： CefSharp支持JavaScript和C#之间的双向通信，使得可以在C#代码中调用JavaScript函数，并将JavaScript的结果返回到C#。
HttpWebRequest自动登录网站并获取网站内容（不包含验证码的网站）
weixin_30695195的博客
06-13 136
可以使用 Visual Sniffer（百度搜索） 来捕捉提交的数据信息：1. 访问你需要站外提交的页面，比如 CSDN 登陆页 http://www.csdn.net/member/UserLogin.aspx2. 填写好需要的资料，比如用户名和密码，3. 打开 Visual Sniffer, 点“开始拦截”4. 在访问的页面中提交。5. 等提交成功之后，在 Visual Sniffer 中“停...
HttpWebRequest自动登录网站并获取网站内容
weixin_38168322的博客
09-25 159
可以使用 Visual Sniffer（百度搜索） 来捕捉提交的数据信息：1. 访问你需要站外提交的页面，比如 CSDN 登陆页 http://www.csdn.net/member/UserLogin.aspx2. 填写好需要的资料，比如用户名和密码，3. 打开 Visual Sniffer, 点“开始拦截”4. 在访问的页面中提交。5. 等提交成功之后，在 Visua...
HttpWebRequest采集（二）-- C#解析html
老纪的Blog--Linux Python PHP MYSQL .NET
09-28 153
上次说到了用HttpWebRequest来采集网站信息 然而对于采集下来的html源码怎么来解析呢，这个问题网上很多人都说采用正则来实现，这个的要求是高的，也会很烦锁。   相对于一个简单的页面来说这个方法还行，如果要采集的数据很多的话就要写N多个正则，N*M次的判断来取得自己想要的数据，这个工作量是很大的，并且对采集的功能上也会有影响。   有人会问有没有方法可以像解析xml那样来解析...
C#(Csharp)多线程HTTP并发请求(HttpWebRequest)采集蜘蛛
12-30
2. **HTTP请求与响应**：C#提供的HttpWebRequest和HttpWebResponse类提供了对HTTP协议的封装，使得我们能够方便地发起HTTP请求并接收响应。在C#中，可以利用这两个类实现异步请求，以并发方式下载多个URL资源，从而...
【转载】C#网页采集数据的几种方式(WebClient、WebBrowser和HttpWebRequest/HttpWebResponse)
不懂love的博客
10-25 1001
获取网页数据有很多种方式。在这里主要讲述通过WebClient、WebBrowser和HttpWebRequest/HttpWebResponse三种方式获取网页内容。 这里获取的是包括网页的所有信息。如果单纯需要某些数据内容。可以自己构造函数甄别抠除出来！一般的做法是根据源码的格式，用正则来过滤出你需要的内容部分。 一、通过WebClient获取网页内容 这是一种很简单的获取方式，当然，其它
C#网页信息采集方法汇总
09-04
1. **利用HttpWebRequest和HttpWebResponse进行网页抓取** 这是最基础的网页信息采集方法，通过创建`HttpWebRequest`对象来发送HTTP请求到指定URL，并通过`HttpWebResponse`接收服务器的响应。以下是一个示例： ...
[C#图文教程]c#从0开始写采集软件 源码
01-12
它可能包括UI元素（如按钮、文本框）的声明，以及这些元素的Click事件处理方法，用于触发采集和显示结果的操作。源码分析应关注以下几个方面： 1. UI布局和控件：理解界面设计，如使用什么控件展示输入和结果。 2. ...
.net模拟登录博客园，使用httpWebRequest登录并发布随笔文章
05-08
.net模拟登录博客园，使用httpWebRequest登录并发布随笔文章
C#三种模拟自动登录和提交POST信息的实现方法
09-03
C#三种模拟自动登录和提交POST信息的实现方法
使用 HttpWebRequest 轻松实现站外提交（可用于自动登陆，自动网上投票等） （转）
deadshot123的专栏
06-23 4847
使用 HttpWebRequest 轻松实现站外提交（可用于自动登陆，自动网上投票等） Posted on 2005-10-08 15:13 HQT 阅读(780) 评论(1)  编辑 收藏 收藏至365Key 所属分类: .NET <!--<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"xmlns:dc
C#自动登录网站（二）----HttpWebRequest/HttpWebRespones
阳
06-06 1952
上一篇是讲了使用WebBrowser自动登录网站，今天讲一下使用httpWebRequest吧，这一篇我打算讲一个简单点的就是获取某个网站的验证码吧，然后在下一篇我打算写一篇自动发帖的，到时会详细讲下使用httpWebRequest自动登录网站以及登录后做一些其他事情。 首先新建一个window窗体项目，然后往界面添加一个button跟一个图片控件。 然后找一个网站的验证码，获取它的地址，我这
C#网页采集数据的几种方式(WebClient、WebBrowser和HttpWebRequest/HttpWebResponse)
热门推荐
jintougao的专栏
10-22 6万+
获取网页数据（采集数据）有很多种方式。在这里主要讲述通过WebClient、WebBrowser和HttpWebRequest/HttpWebResponse三种方式获取网页内容。 这里获取的是包括网页的所有信息。如果单纯需要某些数据内容，可以自己构造函数甄别抠除出来！一般的做法是根据源码的格式，用正则来过滤出你需要的内容部分。
C# HttpWebRequest采集时出现操作操时
程序开发笔记
08-28 560
如题，这种情况出现的原因有可能是因为 HttpWebRequest对象使用完没有关闭，此情况多出现于 采集列表时，循环采集多个网页时。采集完后 使用Abort()关闭一下就好了
C# 中HttpWebRequest与HttpWebResponse的使用方法详解
浅谈C#中HttpWebRequest与HttpWebResponse的使用方法 本篇文章主要介绍了C#中HttpWebRequest与HttpWebResponse的使用方法，具有一定的参考价值。HttpWebRequest和HttpWebResponse是C#中两个非常重要的类，分别用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值