网页内容抓取

using System;
using System.Collections.Generic;
using System.Text;
using System.Net;
using System.IO;

namespace thief
{
class Program
{
static void Main(string[] args)
{

try {
WebClient MyWebClient = new WebClient();

MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或配置用于对向Internet资源的请求进行身份验证的网络凭据。

Byte[] pageData = MyWebClient.DownloadData("http://www.163.com");//从指定网站下载数据

string pageHtml = Encoding.Default.GetString(pageData); //假如获取网站页面采用的是GB2312，则使用这句

//string pageHtml = Encoding.UTF8.GetString(pageData); //假如获取网站页面采用的是UTF-8，则使用这句

Console.WriteLine(pageHtml);//在控制台输入获取的内容

using (StreamWriter sw = new StreamWriter("c://test//ouput.html"))//将获取的内容写入文本
{
sw.Write(pageHtml);
}

Console.ReadLine(); //让控制台暂停,否则一闪而过了
}

catch(WebException webEx) {
Console.WriteLine(webEx.Message.ToString());
}
}
}
}

注：内容转自菩提树下的杨过的博客

 

文章整理：西部数码--专业提供域名注册、虚拟主机服务
http://www.west263.com
以上信息与文章正文是不可分割的一部分,如果您要转载本文章,请保留以上信息，谢谢!

 

 

 

 

 

 

 

 

 

C# 通过代理获取网页内容
Written by admin Posted 10月 30, 2008 at 12:26 pm string urlStr = “http://www.domain.com”; //設定要獲取的地址
HttpWebRequest hwr = (HttpWebRequest)HttpWebRequest.Create(urlStr); //建立HttpWebRequest對象
hwr.Timeout = 60000; //定義服務器超時時間
WebProxy proxy = new WebProxy(); //定義一個網關對象
proxy.Address = new Uri(”http://proxy.domain.com:3128″); //網關服務器:端口
proxy.Credentials = new NetworkCredential(”f3210316″, “6978233″); //用戶名,密碼
hwr.UseDefaultCredentials = true; //啟用網關認証
hwr.Proxy = proxy; //設置網關
HttpWebResponse hwrs = (HttpWebResponse)hwr.GetResponse(); //取得回應
Stream s = hwrs.GetResponseStream(); //得到回應的流對象
StreamReader sr = new StreamReader(s, Encoding.UTF8); //以UTF-8編碼讀取流
StringBuilder content = new StringBuilder(); //
while (sr.Peek() != -1) //每次讀取一行,直到
{ //下一個字節沒有內容
content.Append(sr.ReadLine()+”/r/n”); //返回為止
} //
return content.ToString() ; //返回得到的字符串