C# 解析html —— 将html转为XHTML，然后利用Xml解析

最新推荐文章于 2022-06-15 14:13:48 发布
最新推荐文章于 2022-06-15 14:13:48 发布
阅读量358 收藏
点赞数
文章标签： c# xhtml javascript ViewUI

呵呵，由于正则不熟，所以另谋出路——利用XML去解析html。

要想将抓取到的数据（直接抓取到的是byte[]）  转为XML文档（即XMLDocument对象），有两个要点：

 

一、判断编码（http头 charset 在某些网站上是不准确的）

我利用的是 第三方的一开源项目 去判断编码的，效果还不错：链接 。 

二、将html转为XHTML

我利用的是 ： SgmlReaderDll.dll ，微软提供的，虽然不是100%的准确，但是足以满足 轻量级的商业需求 。

 

核心代码如下：

    public class XHtmlTools
    {
        private const string RegBody = @"<body[\s\S]*?>(?<body>[\s\S]*)</body>";

        /// <summary>
        /// 获取xml文档
        /// </summary>
        /// <param name="html"></param>
        /// <returns></returns>
        public XmlDocument GetXmlDocument(byte[] html)
        {
            StringBuilder XMLHEAD = new StringBuilder();
            XMLHEAD.Append("<?xml version=\"1.0\" encoding=\"utf-8\" ?>");
            XMLHEAD.Append("<!DOCTYPE ARTICLE[");
            XMLHEAD.Append("<!ENTITY nbsp \" \"><!ENTITY iexcl \"¡\"><!ENTITY cent \"¢\"><!ENTITY pound \"£\"><!ENTITY curren \"¤\"><!ENTITY yen \"¥\">");
            XMLHEAD.Append("<!ENTITY brvbar \"¦\"><!ENTITY sect \"§\"><!ENTITY uml \"¨\"><!ENTITY copy \"©\"><!ENTITY ordf \"ª\"><!ENTITY laquo \"«\">");
            XMLHEAD.Append("<!ENTITY not \"¬\"><!ENTITY shy \"-\"><!ENTITY reg \"®\"><!ENTITY macr \"¯\"><!ENTITY deg \"°\"><!ENTITY plusmn \"±\">");
            XMLHEAD.Append("<!ENTITY sup2 \"²\"><!ENTITY sup3 \"³\"><!ENTITY acute \"´\"><!ENTITY micro \"µ\"><!ENTITY para \"¶\"><!ENTITY middot \"·\">");
            XMLHEAD.Append("<!ENTITY cedil \"¸\"><!ENTITY sup1 \"¹\"><!ENTITY ordm \"º\"><!ENTITY raquo \"»\"><!ENTITY frac14 \"¼\"><!ENTITY frac12 \"½\">");
            XMLHEAD.Append("<!ENTITY frac34 \"¾\"><!ENTITY iquest \"¿\"><!ENTITY times \"×\"><!ENTITY divide \"÷\"><!ENTITY Agrave \"À\"><!ENTITY Aacute \"Á\">");
            XMLHEAD.Append("<!ENTITY Acirc \"Â\"><!ENTITY Atilde \"Ã\"><!ENTITY Auml \"Ä\"><!ENTITY Aring \"Å\"><!ENTITY AElig \"Æ\"><!ENTITY Ccedil \"Ç\">");
            XMLHEAD.Append("<!ENTITY Egrave \"È\"><!ENTITY Eacute \"É\"><!ENTITY Ecirc \"Ê\"><!ENTITY Euml \"Ë\"><!ENTITY Igrave \"Ì\"><!ENTITY Iacute \"Í\">");
            XMLHEAD.Append("<!ENTITY Icirc \"Î\"><!ENTITY Iuml \"Ï\"><!ENTITY ETH \"Ð\"><!ENTITY Ntilde \"Ñ\"><!ENTITY Ograve \"Ò\"><!ENTITY Oacute \"Ó\">");
            XMLHEAD.Append("<!ENTITY Ocirc \"Ô\"><!ENTITY Otilde \"Õ\"><!ENTITY Ouml \"Ö\"><!ENTITY Oslash \"Ø\"><!ENTITY Ugrave \"Ù\"><!ENTITY Uacute \"Ú\">");
            XMLHEAD.Append("<!ENTITY Ucirc \"Û\"><!ENTITY Uuml \"Ü\"><!ENTITY Yacute \"Ý\"><!ENTITY THORN \"Þ\"><!ENTITY szlig \"ß\"><!ENTITY agrave \"à\">");
            XMLHEAD.Append("<!ENTITY aacute \"á\"><!ENTITY acirc \"â\"><!ENTITY atilde \"ã\"><!ENTITY auml \"ä\"><!ENTITY aring \"å\"><!ENTITY aelig \"æ\">");
            XMLHEAD.Append("<!ENTITY ccedil \"ç\"><!ENTITY egrave \"è\"><!ENTITY eacute \"é\"><!ENTITY ecirc \"ê\"><!ENTITY euml \"ë\"><!ENTITY igrave \"ì\">");
            XMLHEAD.Append("<!ENTITY iacute \"í\"><!ENTITY icirc \"î\"><!ENTITY iuml \"ï\"><!ENTITY eth \"ð\"><!ENTITY ntilde \"ñ\"><!ENTITY ograve \"ò\">");
            XMLHEAD.Append("<!ENTITY oacute \"ó\"><!ENTITY ocirc \"ô\"><!ENTITY otilde \"õ\"><!ENTITY ouml \"ö\"><!ENTITY oslash \"ø\"><!ENTITY ugrave \"ù\">");
            XMLHEAD.Append("<!ENTITY uacute \"ú\"><!ENTITY ucirc \"û\"><!ENTITY uuml \"ü\"><!ENTITY yacute \"ý\"><!ENTITY thorn \"þ\"><!ENTITY yuml \"ÿ\">");
            XMLHEAD.Append("<!ENTITY lsquo \"‘\"><!ENTITY rsquo \"’\"><!ENTITY ldquo \"“\"><!ENTITY rdquo \"”\"><!ENTITY sbquo \"'\"><!ENTITY mdash \"—\">");
            XMLHEAD.Append("<!ENTITY Prime \"′\"><!ENTITY hellip \"…\">");
            XMLHEAD.Append("]>");

            if (html == null)
                return null;

            string xml = Convert(html);

            if (string.IsNullOrEmpty(xml))
                return null;

            try
            {
                XmlDocument xmlDoc = new XmlDocument();
                xmlDoc.XmlResolver = null;
                xmlDoc.LoadXml(string.Format("{0}{1}", XMLHEAD.ToString(), xml));

                return xmlDoc;
            }
            catch (XmlException)
            {
                return null;
            }
        }


        /// <summary>
        /// 将html转为xml
        /// </summary>
        /// <param name="html"></param>
        /// <returns></returns>
        public string Convert(byte[] html)
        {
            string xml = string.Empty;
            try
            {
                using (HtmlReader reader = new HtmlReader(GetString(html)))
                {
                    StringBuilder sb = new StringBuilder();

                    using (HtmlWriter writer = new HtmlWriter(sb))
                    {
                        while (!reader.EOF)
                        {
                            writer.WriteNode(reader, true);
                        }
                    }

                    xml = sb.ToString();
                }
            }
            catch (Exception)
            {
            }

            Match match = Regex.Match(xml, RegBody, RegexOptions.IgnoreCase);
            if (match.Success)
            {
                xml = match.Value;
            }

            if (string.IsNullOrEmpty(xml))
            {
                xml = "<body></body>";
            }

            return xml;
        }


        /// <summary>
        /// 解析编码并获得字符串
        /// </summary>
        /// <param name="buffer"></param>
        /// <returns></returns>
        public string GetString(byte[] buffer)
        {
            string result = string.Empty;

            if (buffer == null)
                return result;

            using (MemoryStream msTemp = new MemoryStream(buffer))
            {
                if (msTemp.Length > 0)
                {
                    msTemp.Seek(0, SeekOrigin.Begin);
                    int DetLen = 0;
                    byte[] DetectBuff = new byte[4096];

                    UniversalDetector det = new UniversalDetector(null);
                    while ((DetLen = msTemp.Read(DetectBuff, 0, DetectBuff.Length)) > 0 && !det.IsDone())
                    {
                        det.HandleData(DetectBuff, 0, DetectBuff.Length);
                    }
                    det.DataEnd();
                    if (det.GetDetectedCharset() != null)
                    {
                        try
                        {
                            result = System.Text.Encoding.GetEncoding(det.GetDetectedCharset()).GetString(buffer);
                        }
                        catch (ArgumentException)
                        {
                        }
                    }
                }
            }

            return result;
        }

    }

    public class HtmlReader : Sgml.SgmlReader
    {
        public HtmlReader(TextReader reader)
            : base()
        {
            base.InputStream = reader;
            base.DocType = "HTML";
        }
        public HtmlReader(string content)
            : base()
        {
            base.InputStream = new StringReader(System.Web.HttpUtility.HtmlDecode(content));
            base.DocType = "HTML";
        }

        public override bool Read()
        {
            bool status = false;
            try
            {
                status = base.Read();
                if (status)
                {      
                    if (base.NodeType == XmlNodeType.Element
                        && (string.Compare(base.Name, "head", true) == 0
                            || string.Compare(base.Name, "script", true) == 0))
                    {
                        base.Skip();
                    }
                }
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.Message);
            }
            return status;
        }
    }

    public class HtmlWriter : XmlTextWriter
    {
        private char[] chArrFilter = new char[] { '\'', '=', '?', '\"', '.', ';', '：', ')', '(', ' ', '　' };

        public HtmlWriter(TextWriter writer)
            : base(writer)
        {
        }

        public HtmlWriter(StringBuilder builder)
            : base(new StringWriter(builder))
        {
        }

        public HtmlWriter(Stream stream, Encoding enc)
            : base(stream, enc)
        {

        }

        public override void WriteCData(string text)
        {
            // base.WriteCData(text);
        }

        public override void WriteComment(string text)
        {

        }

        public override void WriteWhitespace(string ws)
        {
            if (ws.IndexOf("\r\n") > -1 || ws.IndexOf("\t") > -1)
            {
                return;
            }

            if (ws != " ")
            {
                // 处理空白字符
                base.WriteWhitespace(ws);
            }
        }


        public override void WriteStartElement(string prefix, string localName, string ns)
        {
            if (localName != "")
            {
                int index = localName.LastIndexOf(':');

                if (index > -1)
                {
                    // 防止带有前缀
                    localName = localName.Substring(index + 1);
                }

                localName = string.Join("", localName.Split(chArrFilter)).ToLower();

                base.WriteStartElement("", localName, "");
            }
        }


        public override void WriteAttributes(XmlReader reader, bool defattr)
        {
            if ((reader.NodeType == XmlNodeType.Element) || (reader.NodeType == XmlNodeType.XmlDeclaration))
            {
                if (reader.MoveToFirstAttribute())
                {
                    this.WriteAttributes(reader, defattr);
                    reader.MoveToElement();
                }
            }
            else if (reader.NodeType == XmlNodeType.Attribute)
            {
                string localName = "";
                string value = "";
                do
                {
                    localName = reader.LocalName.ToLower();

                    // 单过滤
                    if (localName != "xml:space" && (localName.LastIndexOf(':') > -1 || localName.StartsWith("xml")))
                    {
                        // 防止带有前缀
                        continue;
                    }

                    localName = string.Join("", localName.Split(chArrFilter));

                    if (localName == "")
                    {
                        continue;
                    }

                    this.WriteStartAttribute("", localName, "");

                    while (reader.ReadAttributeValue())
                    {
                        // if (reader.NodeType == XmlNodeType.EntityReference)
                        // {
                        //     this.WriteEntityRef(reader.Name);
                        //     continue;
                        // }

                        value = reader.Value;

                        if (value == "")
                        {
                            continue;
                        }

                        this.WriteString(value);

                        // this.WriteRawString(reader.Value);
                        // this.WriteAttributeString(localName, reader.Value);
                    }

                    this.WriteEndAttribute();

                    // ===========================================
                    //string attributeLocalName = reader.LocalName;
                    //while (reader.ReadAttributeValue())
                    //{
                    //    string str =  reader.Name;
                    //}

                    //string strValue = reader.Value;
                    //attributeLocalName = reader.Name;

                    //// 过滤无效的属性
                    //if (attributeLocalName == "" || strValue == "")
                    //{
                    //    attributeLocalName = attributeLocalName.TrimStart(new char[] { '\'', '=', '?', '\"', '.' }).ToLower();
                    //    this.WriteAttributeString(attributeLocalName, strValue);
                    //}

                } while (reader.MoveToNextAttribute());
            }
        }

    }


 

上述源码及DLL ： http://files.cnblogs.com/08shiyan/XHtmlTools.zip 

 

下面再说一下解析XML，我利用的XPath:

XPath 和 jQuery所支持的选择器有一定的相似之处，借助jQuery所支持的选择器去理解XPath会更容易一些。

XmlNode.SelectSingleNode

XmlNode.SelectNodes

http://www.cnblogs.com/08shiyan/archive/2013/05/02/3055078.html

 

 

续：

由 imfunny  分享的 HtmlAgilityPack，开源的力量很强大！

HtmlAgilityPack 里的部分类 的元属性截图

支持多个 .NET 版本

HtmlAgilityPack地址：http://htmlagilitypack.codeplex.com/ 

 

weixin_34187822
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
C#下解析HTML的两种方法介绍
09-05
用System.Net.WebClient下载Web Page存到本地文件或者String中，用正则表达式来分析。这个方法可以用在Web Crawler等需要分析很多Web Page的应用中
将html转成xhtml
weixin_34395205的博客
11-20 308
HTML指的是超文本标记语言 (HyperTextMarkupLanguage)，html不强制要求每个标记都是关闭的，比如img，你可以写成<img src="xxx/yyy.jpg" >。换行符br，可以写成<br>。 但有时，html需要转成其他文档（如doc、pdf）时，需要html是标准的、闭合的html，也就是可扩展的超文本标记语言（XHTML）。这时，...
C# 解析HTML 四种方式
weixin_42160499的博客
05-19 7740
WebClient 下载webpage 到本地或string中 System.Net.WebClient client = new WebClient(); byte[] page = client.DownloadData("http://www.google.com"); string content = System.Text.Encoding.UTF8.GetString(page); string regex = "hre.
C# 将HTML转为XML
Eiceblue的专栏
06-15 459
XML，即可扩展标记语言文，件是一种标准的文本文件，它使用特定的标记来描述文档的结构以及其他特性。通过将 XML 文档转换为 PDF格式，能够满足更多程序、设备对文件预览、读取或展示的需要，也更便于文件传输及共享。下面，将通过C#/VB.NET程序代码示例来展示如何实现格式转换。1.通过NuGet安装dll（2种方法） 1.1 可以在Visual Studio中打开“解决方案资源管理器”，鼠标右键点击“引用”，“管理NuGet包”，然后搜索“Free Spire.Doc”，点击“安装”。等待程序安装完成。
html转xhtml
shihengli2010的专栏
09-09 1910
最近在做一个将html转pdf的功能，网上查找了相关的文档，实现方案是html—xhtml —–xsl-fo—–pdf 分三部生成pdf。 这部分为第一步骤html—xhtml的代码，使用了jtidy.jar（参考了其他博客） /** * jtidy包 将html转成xhtml * * @author Administrator * */ public class Ht
html.rar_C# HTML解析_c html解析_html C#
09-22
介绍c#解析HTML，操作环境是VS2010.
HTML解析（C# 包涵注释，全中文）
06-29
一款方便用于解析HTML代码的C# dll 程序集，内包涵各种方便快捷的操作方法，可以大大提高开发效率，可以像使用JS一样，根据id查找找指定的标签，等等。。。（纯中文注释，方便更多的开发者快速理解方法含义）
C# HTML解析类库（含Demo，手册）
05-09
C# HTMLParser HTML解析类库（含Demo，手册）
C#解析html，HtmlAgilityPack
09-10
HtmlAgilityPack 解析html，很方便很强大。
C# xhtml 基础1：格式化文本
05-06
xhtml 基础1：格式化文本 C# xhtml 基础1：格式化文本 C#
html转xml的C#源码
12-21
html转xml　C#源码 xml节点访问封装 Any bug report or any suggestion, PLEASE email me:[email protected]
C#做的HTML转XML工具，修复标签Well-Formed，XHTML
05-15
C#做的HTML转XML工具，修复标签Well-Formed， 用于XHTML或者服务器端解析HTML,或者制作换模版程序。 在网站或表单，换壳，换模板的情况下很有用。
关于C#传给视图的字符串带有Html转义字符的处理
weixin_33753003的博客
04-03 1176
public class PageBarHelper//分页类 { public static string GetPageBar(string requestHref,int totalCount,int pageIndex,int pageSize) { //初始化pageSize，如果为0，默认为5 ...
如何将一段字符串转换为HTML格式
zhanqixuan22的博客
05-31 6679
String text = "字符内容"; String htmlFileName = UUIDUtil.generateUUID()+".html"; String htmlPath = imgPath+ File.separatorChar+htmlFileName; File file2 = new File(htmlPath);   StringBuilder sb = new Strin
C#---HTML 转文本及HTML内容提取
热门推荐
cjh200102的专栏
09-27 1万+
//1、HTML直接转文本 //使用方法 HtmlToText convert = new HtmlToText(); textBox2.Text = convert.Convert(textBox1.Text); //代码 /// /// Converts HTML
mvc后台字符串转换html,c# – 从MVC Controller返回一个字符串到jQuery
weixin_39956558的博客
06-03 276
在ASP.NET MVC控制器中,操作不返回字符串.他们返回ActionResults.因此,首先要修复你的行动(请阅读下面的内容,了解为什么我将修正用斜体,这是因为这只是第一阶段)：public ActionResult GetTRAsString(string appID){// Populate revisionsstring html = "";foreach(RevesionInfo r...
【C#】C#中的HtmlEncode与HtmlDecode：HttpUtility.HtmlEncode,Server.HtmlEncode,WebUtility.HtmlEncode
willingtolove的博客
06-06 3762
　　HtmlEncode(String)将字符串转换为 HTML 编码字符串。 　　HtmlDecode(String)将已经为 HTTP 传输进行过 HTML 编码的字符串转换为已解码的字符串。 　　在web端项目中通常使用HttpUtility.HtmlEecode，HttpUtility.HtmlDecode，Server.HtmlEncode，Server.HtmlDecode； ...
根据html页面模板动态生成html页面(c#类)
寒雪飘霄的Blog
10-02 1572
一直以为动态生成静态页面不好做,昨天在网上找了下,我晕,其实很简单,思路大概是这样的,1:建立一个HTML页面模板,在这个页面中把你想要动态显示的地方用特殊的字符串表示(如$HTMLstrstr$);2:在程序中用将这个HTML页面读到一个字符串变量如str;3:用字符串的resplace方法将在第一步中特殊字符替换成你想要的内容;4保存;OK,so easy,今天就用C#写了一个这样的类,用来处
c# xml解析文件
最新发布
11-16
XmlDocument是一种基于树形结构的解析方式，可以将整个XML文档加载到内存中，然后通过操作节点的方式来访问XML文档中的数据。 以下是一个使用XmlDocument解析XML文件的例子： ```csharp XmlDocument xmlDoc = new ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值