c# 获取网页源码

C#获取指定网页HTML原代码可使用 WebClient WebRequest HttpWebRequest 三种方式来实现。

当然也可使用webBrowse!在此就不研究webBrowse如何获取了。

WebClient 

private string GetWebClient(stringurl) 
{ 
    stringstrHTML = "";
    WebClient myWebClient =new WebClient();
    Stream myStream = myWebClient.OpenRead(url);
    StreamReader sr =new StreamReader(myStream, System.Text.Encoding.GetEncoding("utf-8"));
    strHTML = sr.ReadToEnd();
    myStream.Close();
    returnstrHTML; 
} 


WebRequest 

private string GetWebRequest(stringurl) 
{ 
    Uri uri =new Uri(url);
    WebRequest myReq = WebRequest.Create(uri);
    WebResponse result = myReq.GetResponse();
    Stream receviceStream = result.GetResponseStream();
    StreamReader readerOfStream =new StreamReader(receviceStream, System.Text.Encoding.GetEncoding("utf-8"));
    stringstrHTML = readerOfStream.ReadToEnd(); 
    readerOfStream.Close();
    receviceStream.Close();
    result.Close();
    returnstrHTML; 
} 


HttpWebRequest 

private string GetHttpWebRequest(stringurl) 
{ 
    Uri uri =new Uri(url);
    HttpWebRequest myReq = (HttpWebRequest)WebRequest.Create(uri);
    myReq.UserAgent ="User-Agent:Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705";
    myReq.Accept ="*/*"; 
    myReq.KeepAlive =true; 
    myReq.Headers.Add("Accept-Language","zh-cn,en-us;q=0.5");
    HttpWebResponse result = (HttpWebResponse)myReq.GetResponse();
    Stream receviceStream = result.GetResponseStream();
    StreamReader readerOfStream =new StreamReader(receviceStream, System.Text.Encoding.GetEncoding("utf-8"));
    stringstrHTML = readerOfStream.ReadToEnd(); 
    readerOfStream.Close();
    receviceStream.Close();
    result.Close();
    returnstrHTML; 
} 


 

注意“utf-8”应与指定网页的编码对应。

总结

可以看到HttpWebRequest 方式最复杂,但确提供了更多的选择性。

有的网站检测客户端的UserAgent!如163.com,你如果使用WebClient WebRequest方式获取时,将获取到的是错误提示页面内容。

而通过HttpWebRequest 就没问题。

源码下载:http://files.cnblogs.com/zjfree/GetHTML.rar

测试环境:WIN2003 + VS2005 + C# + winForm

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
你可以使用C#中的WebBrowser控件来获取执行JS后的源码。下面是一个示例代码: ```csharp WebBrowser browser = new WebBrowser(); browser.ScriptErrorsSuppressed = true; //禁止弹出JS错误提示框 browser.Navigate("https://www.example.com"); browser.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(browser_DocumentCompleted); ``` 在上面的代码中,我们使用WebBrowser控件加载了一个网页,并添加了一个DocumentCompleted事件处理程序,该处理程序会在网页加载完成后执行。接下来,在事件处理程序中,我们可以使用以下代码来获取执行JS后的源码: ```csharp private void browser_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e) { HtmlElementCollection elements = browser.Document.GetElementsByTagName("html"); if (elements.Count > 0) { HtmlElement element = elements[0]; string sourceCode = element.OuterHtml; //执行JS代码 object result = browser.Document.InvokeScript("eval", new object[] { "document.title='New Title';" }); //获取执行JS后的源码 sourceCode = element.OuterHtml; } } ``` 在上面的代码中,我们首先获取网页中的HTML元素集合,然后获取了第一个HTML元素,并使用其OuterHtml属性获取源码。接下来,我们使用了WebBrowser控件的InvokeScript方法执行了一段JS代码(将网页标题修改为“New Title”),然后再次获取HTML元素,并使用其OuterHtml属性获取了执行JS后的源码。 注意:在使用WebBrowser控件时,需要确保已经将COM引用添加到项目中,并且需要将目标平台设置为x86或x64,否则可能会出现“无法调用COM组件”的错误。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值