HttpWebRequest 抓取页面异常处理方法

原创 2016年08月30日 15:44:56
// HttpWebRequest 抓取页面异常处理方法
public static String GetHtmlTest(String url){
   String fullhtml=null;
   while(true){
    try{
      HttpWebRequest req=(HttpWebRequest)WebRequest.Create(url);
      req.Method="GET";
      req.UserAgent="Opera/9.25 (Window NT 6.0; U; en)";
      req.KeepAlive=true;
      req.Timeout=6000000;
      HttpWebResponse resp=(HttpWebResponse)req.GetResponse();
      if(resp.StatusCode!=HttpStatusCode.ok){
         contiue;
StreamReader sr = new StreamReader(resp.GetResponseStream(), Encoding.UTF8);
                    fullhtml = sr.ReadToEnd().Trim();
                    resp.Close();
                    sr.Close();
                    break;
      }
    }catch(WebException e){
       e.StackTrace.ToString();
       System.Diagnostics.Trace.WriteLine(e.Message);
       if(true){
          continue;
       }
    }
    return fullhtml;
   }
}
版权声明:本文为博主原创文章,未经博主允许不得转载。

调用svc报错 httpwebrequest_webexception_remoteserver

最近使用到一个功能,页面使用SilverLight调用svc服务,结果出错: 这个也不好定位,于是单独地址栏访问svc页面的url,报错如下: 有点不太明白。 于是自己本地试试,发现:有...
  • ewqewqqwe
  • ewqewqqwe
  • 2016年05月16日 10:46
  • 1797

HttpWebRequest.GetResponse出异常时的解决办法

参考文章 http://www.cnblogs.com/cresuccess/archive/2009/12/09/1619977.html 第一种异常:WebException: 服务器提...
  • atceedsun
  • atceedsun
  • 2015年04月03日 15:36
  • 7402

用HttpWebRequest请求时,获取响应的状态码

直接上一段代码 [TestMethod] public void TestWebPage() { var httpStatusCode = 200; try { var req = Web...
  • Linux7985
  • Linux7985
  • 2012年08月17日 21:21
  • 36811

HttpWebRequest的服务器端Session

HttpWebRequest的服务器端Session昨天写程序用HttpWebRequest发送Web请求,可总是抛出WebException,说是500错误,可是那地址直接在浏览器里确可以访问,于是...
  • ycl111
  • ycl111
  • 2007年03月01日 10:59
  • 2144

浏览器能访问,但是HttpWebRequest请求却无响应

采集数据时,常常遇到,某个网址在浏览器中能访问,但是通过程序 使用 HttpWebRequest去请求该页面却没有响应,得不到网页的源码,或者出现超时现象。纠结了很久,找啊找,最终找到了办法解决办法:...
  • cctvcqupt
  • cctvcqupt
  • 2015年10月20日 14:49
  • 2586

C# post数据时 出现如下错误: System.Net.WebException: 操作超时

net(客户端)调用IIS(服务端)出现503后,就报操作超时错误 问题描述: 服务端环境: IIS 客户端环境: windowsxp + iis + .net 调用时出现如下错误: Syste...
  • fuyifang
  • fuyifang
  • 2015年03月16日 12:33
  • 6416

HttpWebRequest实现读取天气预报信息

1.htmlHTML>    HEAD>        title>Weathertitle>        meta content="Microsoft Visual Studio .NET 7....
  • snlei
  • snlei
  • 2008年02月23日 17:55
  • 803

使用httpwebrequest发送数据到网站

怎样通过HttpWebRequest 发送 POST 请求到一个网页服务器?例如编写个程序实现自动用户登录,自动提交表单数据到网站等。假如某个页面有个如下的表单(Form):http://www.he...
  • bill1315
  • bill1315
  • 2007年05月08日 09:55
  • 730

HttpWebRequest内存溢出 OutOfMemoryException

当使用多线程调用HttpWebRequest时出现OutOfMemoryException错误 查询MSDN,其中GetResponse()方法,有如下一条警告,猜想HttpWebRespons...
  • feixuedongji
  • feixuedongji
  • 2015年06月01日 10:57
  • 660

httpwebrequest模拟登陆 显示乱码

[原因] 在使用httpwebrequest模拟登陆实现时,通过抓取网络数据包,设置http header,”Accept-Encoding” = “gzip,deflate” ,发现在服...
  • jk38687587
  • jk38687587
  • 2015年04月14日 09:42
  • 459
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:HttpWebRequest 抓取页面异常处理方法
举报原因:
原因补充:

(最多只允许输入30个字)