获取HTML网页内容SgmlReader

最新推荐文章于 2017-09-19 13:51:00 发布
最新推荐文章于 2017-09-19 13:51:00 发布
阅读量1k 收藏
点赞数
分类专栏： c#

Microsoft的XML大师Chris Lovett发布了一个新的SGML解析器（应该是2008年的版本），叫做SgmlReader（早期的SgmlReader在2006年以前就出了），它可以解析HTML文件，甚至将它们转换成一个格式规范的结构。SgmlReader派生于XmlReader，这就是说，你可以像运用诸如XmlTextReader这样的类来解析XML文件那样来解析HTML文件。

 
将其实际应用的结果如图：
1. 示例网页（我们需要获取的）：
 

 
 
2. 获取<body>内所有标签的值
 
 

 
 
3. 获取<html>内所有alt属性值（图片提示信息）
 

 
 
4. 获取<body>内<div>标签属性id为"frame"下，<div>标签属性id为"bodyArea"，层内所有标签值
 

 
 
5. 以上示例都是获取远端HTML页面（http://172.16.1.5/menu_en.html）源码内容的示例，以下是获取本地HTML内标签值示例。
 
 

  
  
  
  1. private string GetWellFormedHTMLFile(string filePath, string xpath) 
  2.         { 
  3.             StreamReader sReader = null; 
  4.             StringWriter sw = null; 
  5.             SgmlReader reader = null; 
  6.             XmlTextWriter writer = null; 
  7.             try 
  8.             { 
  9.                 sReader = new StreamReader(filePath); 
  10.                 reader = new SgmlReader(); 
  11.                 reader.DocType = "HTML"; 
  12.                 reader.InputStream = new StringReader(sReader.ReadToEnd()); 
  13.                 sw = new StringWriter(); 
  14.                 writer = new XmlTextWriter(sw); 
  15.                 writer.Formatting = Formatting.Indented; 
  16.                 //writer.WriteStartElement("Test"); 
  17.                 while (reader.Read()) 
  18.                 { 
  19.                     if (reader.NodeType != XmlNodeType.Whitespace) 
  20.                     { 
  21.                         writer.WriteNode(reader, true); 
  22.                     } 
  23.                 } 
  24.                 //writer.WriteEndElement(); 
  25.                 if (xpath == null) 
  26.                 { 
  27.                     return sw.ToString(); 
  28.                 } 
  29.                 else 
  30.                 { //Filter out nodes from HTML 
  31.                     StringBuilder sb = new StringBuilder(); 
  32.                     XPathDocument doc = new XPathDocument(new StringReader(sw.ToString())); 
  33.                     XPathNavigator nav = doc.CreateNavigator(); 
  34.                     XPathNodeIterator nodes = nav.Select(xpath); 
  35.                     while (nodes.MoveNext()) 
  36.                     { 
  37.                         sb.Append(nodes.Current.Value + ((char)13).ToString()); 
  38.                     } 
  39.                     return sb.ToString(); 
  40.                 } 
  41.             } 
  42.             catch (Exception exp) 
  43.             { 
  44.                 writer.Close(); 
  45.                 reader.Close(); 
  46.                 sw.Close(); 
  47.                 sReader.Close(); 
  48.                 return exp.Message; 
  49.             } 
  50.         } 
hanjieson
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sgmlReader
06-26
sgmlReadersgmlReadersgmlReadersgmlReadersgmlReader
sgmlreader-1.8.7
08-17
- **数据挖掘**：对于需要从大量网页中提取信息的项目，SGMLReader 可以帮助预处理 HTML 内容，使其更适合后续的分析和处理。 - **电子书和文献管理**：对于存储在 SGML 格式的电子书或学术文献，SGMLReader 可以...
解析HTML文件 - 运用SgmlReader类来解析HTML文件
weixin_34258782的博客
06-13 85
运用.NET Framework类来解析HTML文件、读取数据并不是最容易的。虽然你可以用.NET Framework中的许多类（如StreamReader）来逐行解析文件，但XmlReader提供的API并不是“取出即可用（out of the box）”的，因为HTML的格式不规范。你可以用正则表达式（regular expression），但如果你对这些表达式运用不熟练，你可能开始时会觉得它...
SgmlReader使用方法
weixin_30470857的博客
10-13 123
HtmlAgilityPack是一个开源的html解析器，底层是通过将html格式转成标准的xml格式文件来实现的(使用dot net里的XPathDocument等xml相关类)，可以从这里下载：http://htmlagilitypack.codeplex.com。可以通过指定xpath路径提取需要的内容，上面那个网站也提供了一个自动生成xpath路径的工具HAP Explorer。缺点和上面...
SgmlReader
06-05
SgmlReader 一款SGML解析器，通过解析html文件，并能有效的把html转换为格式较规范的XHTML。 SgmlReader派生于XmlReader，这就是说，你可以像运用诸如XmlTextReader这样的类来解析XML文件那样来解析HTML文件。
SgmlReader.dll
09-04
《深入理解SgmlReader与...无论是在网页爬虫、数据提取还是页面解析等场景，SgmlReader都展现出了它的价值和实用性。对于任何需要处理HTML的.NET开发者来说，理解和掌握SgmlReader及其使用方法都是提升工作效率的关键。
System.Xml.SgmlReader.zip
03-31
例如，如果你有一个基于SGML的旧版网站，想用现代的XML工具链来处理其内容，SgmlReader就是理想的解决方案。 7. **性能与优化**：虽然SgmlReader提供了强大的功能，但处理SGML到XML的转换可能会消耗一定的资源。...
sgmlreader-1.8.4
06-26
在实际应用中，SgmlReader广泛应用于数据挖掘、搜索引擎优化、内容管理系统以及网页爬虫等领域。例如，对于需要对大量网页进行统一处理的项目，SgmlReader可以确保即使面对混乱的HTML源码，也能稳定地进行解析和转换...
用 SGMLReader把子HTML 转 XML
weixin_34290390的博客
04-20 95
SgmlReader r = new SgmlReader();   r.DocType = "HTML";   r.InputStream = new StringReader(temp);   StringWriter sw = new StringWriter();   XmlTextWriter w = new XmlTextWriter(sw);   while (!r.EOF)    ...
利用SgmlReader来解析HTML
『 COSO 』
12-08 3092
 private string GetWellFormedHTML(string uri,string xpath) ...{            StreamReader sReader = null;            StringWriter sw = null;            SgmlReader reader = null;            XmlTextWr
利用SgmlReader获取网页源代码，进行提取
weixin_30652271的博客
09-19 95
1根据sgmlReader类获得完整的html代码 /// <summary> /// 读取html页面内容 /// </summary> /// <param name="uri">网址</param> /// <returns></...
运用SgmlReader类来解析HTML文件，并生成格式规范（well-formed）的HTML。
耐心点
05-10 6133
运用SgmlReader类来解析HTML文件，并生成格式规范（well-formed）的HTML。by Dan Wahlin 运用.NET Framework类来解析HTML文件、读取数据并不是最容易的。虽然你可以用.NET Framework中的许多类（如StreamReader）来逐行解析文件，但XmlRea
SgmlReader使用小记
For The Future
02-02 768
SgmlReader可以用来解析HTML/SGML，并能把不规范的Html转换成规范的XHtml string SgmlTranslate(string input) {    var reader = new SgmlReader();    reader.DocType = "HTML";    reader.WhitespaceHandling = WhitespaceHand
C# 获取HTML网页内容SgmlReader
LYBWWP
11-23 4425
Microsoft的XML大师Chris Lovett发布了一个新的SGML解析器（应该是2008年的版本），叫做SgmlReader（早期的SgmlReader在2006年以前就出了），它可以解析HTML文件，甚至将它们转换成一个格式规范的结构。SgmlReader派生于XmlReader，这就是说，你可以像运用诸如XmlTextReader这样的类来解析XML文件那样来解析HTML文件。
使用SgmlReader将HTML转换为合法的XML
accpyy的专栏
05-02 911
 public static string Convert(string html){    if (string.IsNullOrEmpty(html.Trim()))    {        return string.Empty;    }    using (SgmlReader reader = new SgmlReader())    {        reader.DocType =
[转摘]利用SgmlReader返回XPath分析HTML
weixin_34288121的博客
12-11 101
SgmlReader是一款SGML解析器，通过解析html文件，并能有效的把html转换为格式较规范的XHTML。所以，再利用XPath去查找你所想要的值是非常方便的。个人分析HTML方法：1.正则表达式2.字符串截取3.把HTML代码当成树形结构理解，想取到哪个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值