如何在C#中获取指定网页源码的示例

在C#中，我们如何能够获取到指定网页的源码呢？比如说我们要做一个文章抓取功能的小工具，这样的功能是必不可少的，小编自己做了一个能够获取网页源码的小工具，把主体代码共享出来，希望能给新手们一点帮助。

首先先看下面代码：

private string GetWebContent(string url)
{
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
HttpWebResponse respone = (HttpWebResponse)request.GetResponse();
Stream stream = respone.GetResponseStream();

Encoding encoding = Encoding.Default;
if (this.ddlEncoding.SelectedItem != null && this.ddlEncoding.SelectedItem.ToString() != "" && this.ddlEncoding.SelectedItem.ToString() != "Default")
{
encoding = Encoding.GetEncoding(this.ddlEncoding.SelectedItem.ToString());
}

StreamReader streamReader = new StreamReader(stream, encoding);
return streamReader.ReadToEnd();
}

上面方法的功能是把传入参数(url地址)的网页源码返回给调用者，但这仅仅是所有源码，我们并不能从中剥离出网站标题，网站Body元素等，需要正确读到这些元素，我们还要进行下一步处理。

Encoding encoding = Encoding.Default;
if (this.ddlEncoding.SelectedItem != null && this.ddlEncoding.SelectedItem.ToString() != "" && this.ddlEncoding.SelectedItem.ToString() != "Default")
{
encoding = Encoding.GetEncoding(this.ddlEncoding.SelectedItem.ToString());
}

主要用来处理网站的不同编码，不同的网站有不同的编码，如果我们在读取时使用了错误的编码，那么返回结果中的所有汉字就成了乱码了，所以提供了一个供用户自己选择编码的功能，如果读取出源码是错误的，就可以使用另外一种编码再次尝试,ddlEncoding(ComboBox控件)提供了所有网站编码选择。

下面是处理GetWebContent(string url)方法返回的结果，以正确读取出网站的标题，body的元素。

private void button1_Click(object sender, EventArgs e)
{
try
{
if (this.txtUrl.Text.Trim().Length == 0)
{
("请输入主入口地址！");
}
else
{
//这里获取GetWebContent方法的结果
string webContent = GetWebContent(this.txtUrl.Text.Trim());

//声明一个WebBrowser
WebBrowser webBrowser = new WebBrowser();
webBrowser.Navigate("about:blank");

//将GetWebContent方法返回的结果转化为HtmlDocument，就可以正确处理网页中的元素了。
HtmlDocument htmlDoc = webBrowser.Document.OpenNew(true);
htmlDoc.Write(webContent);

//获取网页中Body中的Html代码
string outerHtml = htmlDoc.Body.OuterHtml;
//获取网页的标题
string outerTitle=htmlDoc.Title;

this.txtDocumentTitle.Text = outerTitle;
this.txtDocumentConent.Text = outerHtml；
}
}
catch (Exception ex)
{
MessageBox.Show(ex.Message);
}
}

通过上面两个步骤，我们就可以正确的读取指定网页中的各元素了，当然，实际处理时，可能还会遇到很多的问题，比如我们要获取源码的网站需要用户名与密码验证，但处理一般的网页还是足够了。我们还可以从获取到的源码中解析出A标签，然后再根据解析出的A标签继续读取源码，就可以实现自动抓取的功能了。