【实例简介】
主要实现了通过HtmlParser 实现网页源文件的抓取以及分析,示例中包含了常用的几种操作,更多内容须大家一起完善,虽然本项目是用winform编写,但是其中的代码可以直接copy到web项目中 使用(已做过测试)。
asp.net采集网分析网页用它即可。
另注:需要添加这些引用(项目文件中已包含Winista.HtmlParser.dll的引用)
using Winista.Text.HtmlParser;
using Winista.Text.HtmlParser.Filters;
using Winista.Text.HtmlParser.Util;
using Winista.Text.HtmlParser.Tags;
【实例截图】
【核心代码】
string strHTML = GetUrl(this.textBox1.Text);
this.textBox2.Text = "";
//this.textBox2.Text = strHTML;
string strTMP = "";
Parser parser = Parser.CreateParser(strHTML, "gb2312");
AndFilter andimg = new AndFilter();
andimg.Predicates = new NodeFilter[] { new NodeClassFilter(typeof(ImageTag)) };
NodeList imglist = parser.ExtractAllNodesThatMatch(andimg);
if (imglist.Count > 0)
{
for (int j = 0; j < imglist.Count; j )
{
ImageTag img = (ImageTag)imglist[j];
strTMP = (img.GetAttribute("src")).ToString() img.ToHtml() "\r\n";
}
}
this.textBox2.Text = strTMP;