一个.NET下的HTML解析类库HtmlAgilityPack。HtmlAgilityPack是一个支持用XPath来解析HTML的类库,在花了一点时间学习了解HtmlAgilityPack的API和XPath之后,周公就做了一个简单的工具完成了这个功能, HtmlAgilityPack是一个开源的.NET类库,它的主页是 http://htmlagilitypack.codeplex.com/ ,在这里可以下载到最新版的类库及API手册,此外还可以下载到一个用于调试的辅助工具。
XPath简明介绍
XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。
下面列出了最有用的路径表达式:
nodename:选取此节点的所有子节点。
/:从根节点选取。
//:从匹配选择的当前节点选择文档中的节点,而不考虑它们的位置。
.:选取当前节点。
..:选取当前节点的父节点。
例如有下面一段XML:
<?xml version="1.0" encoding="utf-8"?> <Articles> <Article> <Title>在ASP.NET中使用Highcharts js图表</title> <Url>http://www.baidu.com</Url> <CreateAt type="en">2011-04-07</price> </Article> <Article> <Title lang="eng">Log4Net使用详解(续)</title> <Url>http://www.baidu.com</Url> <CreateAt type="zh-cn">2010年11月23日</price> </Article> <Article> <Title>J2ME开发的一般步骤</title> <Url>http://www.baidu.com</Url> <CreateAt type="zh-cn">2011年06月12日</price> </Article> <Article> <Title lang="eng">PowerDesign高级应用</title> <Url>http://www.baidu.com</Url> <CreateAt type="zh-cn">2007-09-08</price> </Article> </Articles>
1、获取网页title:doc.DocumentNode.SelectSingleNode("//title").InnerText;
解释:XPath中“//title”表示所有title节点。SelectSingleNode用于获取满足条件的唯一的节点。
2、获取所有的超链接:doc.DocumentNode.Descendants("a")
3、获取name为kw的input,也就是相当于getElementsByName(): var kwBox = doc.DocumentNode.SelectSingleNode("//input[@name='kw']");
解释:"//input[@name='kw']"也是XPath的语法,表示:name属性等于kw的input标签。
针对上面的XML文件,我们列出了带有谓语的一些路径表达式,以及表达式的结果:
/Articles/Article[1]:选取属于Articles子元素的第一个Article元素。
/Articles/Article[last()]:选取属于Articles子元素的最后一个Article元素。
/Articles/Article[last()-1]:选取属于Articles子元素的倒数第二个Article元素。
/Articles/Article[position()<3]:选取最前面的两个属于 bookstore 元素的子元素的Article元素。
//title[@lang]:选取所有拥有名为lang的属性的title元素。
//CreateAt[@type='zh-cn']:选取所有CreateAt元素,且这些元素拥有值为zh-cn的type属性。
/Articles/Article[Order>2]:选取Articles元素的所有Article元素,且其中的Order元素的值须大于2。
/Articles/Article[Order<3]/Title:选取Articles元素中的Article元素的所有Title元素,且其中的Order元素的值须小于3。
HtmlAgilityPack API简明介绍
在HtmlAgilityPack中常用到的类有HtmlDocument、HtmlNodeCollection、
HtmlNode和HtmlWeb等。
其流程一般是先获取HTML,这个可以通过HtmlDocument的Load()或LoadHtml()来加载静态内容,或者也可以HtmlWeb的Get()或Load()方法来加载网络上的URL对应的HTML。
得到了HtmlDocument的实例之后,就可以用HtmlDocument的DocumentNode属性,这是整个HTML文档的根节点,它本身也是一个HtmlNode,然后就可以利用HtmlNode的SelectNodes()方法返回多个HtmlNode的集合对象HtmlNodeCollection,也可以利用HtmlNode的SelectSingleNode()方法返回单个HtmlNode。
HtmlAgilityPack实战
下面是一个解析CSDN博客的代码实例:
using System; using System.Collections.Generic; using System.Text; using HtmlAgilityPack; using System.Text.RegularExpressions; namespace CrawlPageApplication { /** */ public class CSDN_Parser { private const string CategoryListXPath = "//html[1]/body[1]/div[1]/div[1]/div[2]/div[1]/div[1]/dl[1]/dd[3]/div[1]/ul[1]/li"; private const string CategoryNameXPath = "//li[1]/a[2]"; /// <summary> /// 分析博客首页 /// </summary> /// <param name="url"></param> /// <returns></returns> public static List<Category> ParseIndexPage(string url) { Uri uriCategory=null; List<Category> list = new List<Category>(40); HtmlDocument document = new HtmlDocument(); //注意,这里省略掉了使用本人其它类库中加载URL的类,而是直接加载本地的HTML文件 //string html = HttpWebUtility.ReadFromUrl(url, Encoding.UTF8); //document.LoadHtml(html); document.Load("CSDN_index.html", Encoding.UTF8); HtmlNode rootNode = document.DocumentNode; HtmlNodeCollection categoryNodeList = rootNode.SelectNodes(CategoryListXPath); HtmlNode temp = null; Category category = null; foreach (HtmlNode categoryNode in categoryNodeList) { temp = HtmlNode.CreateNode(categoryNode.OuterHtml); category = new Category(); category.Subject = temp.SelectSingleNode(CategoryNameXPath).InnerText; Uri.TryCreate(UriBase, temp.SelectSingleNode(CategoryNameXPath).Attributes["href"].Value, out uriCategory); category.IndexUrl = uriCategory.ToString(); category.PageUrlFormat=category.IndexUrl+"?PageNumber={0}"; list.Add(category); Category.CategoryDetails.Add(category.IndexUrl, category); } return list; } } }