HttpWebRequest 抓取页面异常处理方法

// HttpWebRequest 抓取页面异常处理方法
public static String GetHtmlTest(String url){
   String fullhtml=null;
   while(true){
    try{
      HttpWebRequest req=(HttpWebRequest)WebRequest.Create(url);
      req.Method="GET";
      req.UserAgent="Opera/9.25 (Window NT 6.0; U; en)";
      req.KeepAlive=true;
      req.Timeout=6000000;
      HttpWebResponse resp=(HttpWebResponse)req.GetResponse();
      if(resp.StatusCode!=HttpStatusCode.ok){
         contiue;
StreamReader sr = new StreamReader(resp.GetResponseStream(), Encoding.UTF8);
                    fullhtml = sr.ReadToEnd().Trim();
                    resp.Close();
                    sr.Close();
                    break;
      }
    }catch(WebException e){
       e.StackTrace.ToString();
       System.Diagnostics.Trace.WriteLine(e.Message);
       if(true){
          continue;
       }
    }
    return fullhtml;
   }
}
阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/mchgogo/article/details/52369937
文章标签: httpwebrequest
个人分类: 页面抓取处理方法
上一篇通过获取type的值实现input的值
下一篇JQuery中ajax 跨域处理解决
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭