HttpWebRequest 抓取页面异常处理方法

原创 2016年08月30日 15:44:56
// HttpWebRequest 抓取页面异常处理方法
public static String GetHtmlTest(String url){
   String fullhtml=null;
   while(true){
    try{
      HttpWebRequest req=(HttpWebRequest)WebRequest.Create(url);
      req.Method="GET";
      req.UserAgent="Opera/9.25 (Window NT 6.0; U; en)";
      req.KeepAlive=true;
      req.Timeout=6000000;
      HttpWebResponse resp=(HttpWebResponse)req.GetResponse();
      if(resp.StatusCode!=HttpStatusCode.ok){
         contiue;
StreamReader sr = new StreamReader(resp.GetResponseStream(), Encoding.UTF8);
                    fullhtml = sr.ReadToEnd().Trim();
                    resp.Close();
                    sr.Close();
                    break;
      }
    }catch(WebException e){
       e.StackTrace.ToString();
       System.Diagnostics.Trace.WriteLine(e.Message);
       if(true){
          continue;
       }
    }
    return fullhtml;
   }
}
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

HttpWebRequest.GetResponse出异常时的解决办法

参考文章 http://www.cnblogs.com/cresuccess/archive/2009/12/09/1619977.html 第一种异常:WebException: 服务器提...

用HttpWebRequest请求时,获取响应的状态码

直接上一段代码 [TestMethod] public void TestWebPage() { var httpStatusCode = 200; try { var req = Web...

java,访问异常处理方法

  • 2014年12月16日 16:43
  • 963B
  • 下载

实际应用中JSP页面的异常处理

打开浏览器,访问一个链接或者输入url,“咚”的敲下回车。。。 哗啦啦,一大堆看不懂的异常信息一下子弹出来,塞满整个页面,我勒个去,吓死人了。。。   在实际开发中,用户访问网站的时候发生了错误...

小号异常处理方法

  • 2014年09月23日 20:30
  • 712KB
  • 下载

Tailspin Spyworks指南第八讲:其它页面,异常处理、总结

通过Tailspin Spyworks 演示在.NET平台创建功能强大,结构良好的应用程序有多么简单。演示如何使用ASP.NET 4的新特性创建一个包含购物、结算和管理功能的在线网店。本系列指南对构建...
  • litdwg
  • litdwg
  • 2014年04月08日 15:02
  • 959

Java读取数据库Blob对象返回到JSP页面和getOutputStream() has already been called for this response异常处理

Insert title here
  • del1214
  • del1214
  • 2011年07月22日 11:26
  • 1658
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:HttpWebRequest 抓取页面异常处理方法
举报原因:
原因补充:

(最多只允许输入30个字)