通过程序对远程url中的源码的获取

  • 第一种方法是通过WebClient 来获取 

                     其中有两种方法:

                     1利用WebClien的DownloadData方法,直接获取。

   string PageUrl = "http://inhe.net";
   WebClient wc = new WebClient();
   wc.Credentials = CredentialCache.DefaultCredentials;

   ///方法一:
     Byte[] pageData = wc.DownloadData(PageUrl);
     Response.Write(Encoding.UTF8.GetString(pageData));

         2  利用WebClient的OpenRead 方法得到一个数据流,然后通过流数据来读取(我觉得这种方法适合大数据的源成url) 呵呵 ,不知道说得对不对?  

/// 方法二

    Stream resStream = wc.OpenRead(PageUrl);
    StreamReader sr = new StreamReader(resStream,System.Text.Encoding.Default);
    ContentHtml.Text = sr.ReadToEnd();
    resStream.Close();

当然这种用流的方式还是只是用于数据不大的情况,如果数据很大的话,由于我们开了个流,就可以采取措施。分步的来获取,不至于影响到程序的性能

  • 第二种方法是用WebRequest 和 WebResponse来配合得到,具体流程是:

                           通过WebRequest 的 GetResponse方法将页面的源码传入WebResponse之中,然后在返  回一个Stream 通过读取这个stream来得到源代码

string Url = "Http://inhe.net";
   string StrReturn = "";
   WebResponse result = null;   
   try
   {
    WebRequest req = WebRequest.Create(Url);   
    result = req.GetResponse();
    Stream ReceiveStream = result.GetResponseStream();    
    Encoding encode = System.Text.Encoding.GetEncoding("GB2312");
    StreamReader sr = new StreamReader( ReceiveStream,encode);
    Char[] read = new Char[256];
    int count = sr.Read(read, 0, 256);
    while (count > 0)
    {
     String str = new String(read, 0, count);
     StrReturn += str;
     count = sr.Read(read, 0, 256);
    }
   }
   catch(Exception ee)
   {
    StrReturn += e.ToString();
    StrReturn += "找不到请求 URI,或者它的格式不正确";
   }
   finally
   {
    if ( result != null )
    {
     result.Close();
    }
   }
   Response.Write( @StrReturn.Trim());

其中这里有一个小的技巧 读取数据流时,这段代码时让它以256字节为单位来循环读取,这样当数据较大时,就不会过大的影响到程序的性能

呵呵 不知道我说的对不对,欢迎大家和我讨论

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值