C#抓取网页HTML内容

　　网上很多内容采集工具，今天就自己试着写一个，发现C#可以轻松的抓去网页的内容，进而通过正则来分离出自己感兴趣的数据。下面是抓去网页内容的代码：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Web;
using System.Net;
using System.Text;
using System.IO;
using System.Text.RegularExpressions;

namespace Web
{
   /// <summary>  
   /// 公共方法类  
   /// </summary>  
   public class WebHandler
   {
      /// <summary>  
      /// 获取网页的HTML码  
      /// </summary>  
      /// <param name="url">链接地址</param>  
      /// <param name="encoding">编码类型</param>  
      /// <returns></returns>  
      public static string GetHtmlStr(string url, string encoding)
      {
         string htmlStr = "";
         try
         {
            if (!String.IsNullOrEmpty(url))
            {
               WebRequest request = WebRequest.Create(url);            //实例化WebRequest对象  
               WebResponse response = request.GetResponse();           //创建WebResponse对象  
               Stream datastream = response.GetResponseStream();       //创建流对象  
               Encoding ec = Encoding.Default;
               if (encoding == "UTF8")
               {
                  ec = Encoding.UTF8;
               }
               else if (encoding == "Default")
               {
                  ec = Encoding.Default;
               }
               StreamReader reader = new StreamReader(datastream, ec);
               htmlStr = reader.ReadToEnd();                  //读取网页内容  
               reader.Close();
               datastream.Close();
               response.Close();
            }
         }
         catch { }
         return htmlStr;
      }
   }  
   
}

这个方法可以获取网页的HTML内容，有了HTML我们就可以通过正则来抓去自己想要的内容了。。。

 

转载于:https://www.cnblogs.com/yunfeifei/p/3842761.html