C#抓取网页HTML内容

这段代码展示了如何使用C#从指定URL抓取并解析网页的HTML内容。通过WebRequest和WebResponse类创建请求并获取响应,然后使用StreamReader读取HTML字符串。支持UTF8和默认编码。
摘要由CSDN通过智能技术生成

640?wx_fmt=png

using System;

using System.Collections.Generic;

using System.Linq;

using System.Web;

using System.Net;

using System.Text;

using System.IO;

using System.Text.RegularExpressions;

namespace Web

{

   /// <summary>  

   /// 公共方法类  

   /// </summary>  

   public class WebHandler

   {

      /// <summary>  

      /// 获取网页的HTML码  

      /// </summary>  

      /// <param name="url">链接地址</param>  

      /// <param name="encoding">编码类型</param>  

      /// <returns></returns>  

      public static string GetHtmlStr(string url, string encoding)

      {

         string htmlStr = "";

         try

         {

            if (!String.IsNullOrEmpty(url))

            {

               WebRequest request = WebRequest.Create(url);            //实例化WebRequest对象  

               WebResponse response = request.GetResponse();           //创建WebResponse对象  

               Stream datastream = response.GetResponseStream();       //创建流对象  

               Encoding ec = Encoding.Default;

               if (encoding == "UTF8")

               {

                  ec = Encoding.UTF8;

               }

               else if (encoding == "Default")

               {

                  ec = Encoding.Default;

               }

               StreamReader reader = new StreamReader(datastream, ec);

               htmlStr = reader.ReadToEnd();                  //读取网页内容  

               reader.Close();

               datastream.Close();

               response.Close();

            }

         }

         catch { }

         return htmlStr;

      }

   }  

   

}

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT技术分享社区

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值