关于使用HtmlAgilityPack

最新推荐文章于 2024-08-13 08:27:23 发布
最新推荐文章于 2024-08-13 08:27:23 发布
阅读量86 收藏
点赞数
原文链接：http://www.cnblogs.com/bober/archive/2011/10/27/2226794.html
版权

请直接看代码：

 

         ///   <summary>
         ///  根据输入的地址获取其文档节点对象
         ///   </summary>
         ///   <param name="url"> 地址 </param>
         ///   <returns></returns>
         public  static HtmlAgilityPack.HtmlNode GetHtmlNodeFromLink( string url)
        {
             try{
                Uri uri =  new Uri(url);

                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
                WebResponse response = request.GetResponse();

                Stream stream = response.GetResponseStream();
                StreamReader read =  new StreamReader(stream, Encoding.GetEncoding( " gb2312 "));
                 string str = read.ReadToEnd();

                HtmlAgilityPack.HtmlDocument html =  new HtmlAgilityPack.HtmlDocument();
                html.LoadHtml(str);
                 return html.DocumentNode;
            }
             catch{ return  null;}
        }

         ///   <summary>
         ///  根据输入的URL地址输出指定XPATH下的节点集合
         ///   </summary>
         ///   <param name="url"> 地址 </param>
         ///   <param name="xPath"> 过滤地址 </param>
         ///   <param name="imgs"> 过滤地址 </param>
         ///   <param name="links"> 过滤地址 </param>
         ///   <param name="title"> 标题 </param>
         ///   <returns></returns>
         public  static  bool GetGalleryInfo(HtmlAgilityPack.HtmlNode htmlNode, string xPath, ref  string[] imgs,  ref  string[] links, ref  string[] title)
        {
             try
            {
                HtmlNodeCollection hnc = htmlNode.SelectNodes(xPath); // " // div[@class='slideBannerA homeSlideAD1']"
                 if (hnc.Count <  1)
                     return  false;
                links =  new  string[hnc.Count];
                title =  new  string[hnc.Count];
                imgs =  new  string[hnc.Count];
                 int i =  0;
                 string cateDataRegex =  @" background-image:url\((?<image>.+)\) ";
                Regex re =  new Regex(cateDataRegex, RegexOptions.IgnoreCase | RegexOptions.Singleline | RegexOptions.IgnorePatternWhitespace);
                 foreach (HtmlNode node  in hnc)
                {
                    HtmlAttributeCollection hac = node.Attributes;
                    links[i] = hac[ " href "].Value;
                    imgs[i] = hac[ " style "] ==  null ? hac[ " src2 "].Value : re.Match(hac[ " style "].Value).Groups[ " image "].Value;
                    title[i++] =  string.IsNullOrEmpty(hac[ " title "].Value) ? hac[ " alt "].Value : hac[ " title "].Value;
                }
                 return  true;
            }
             catch {  return  false; }
        }
        
         // 调用 
        
             string[] strLink;
             string[] strLinAlt;
             string[] strImg;
             string urls =  " http://www.newegg.com.cn ";
            HtmlAgilityPack.HtmlNode nodes = GetHtmlNodeFromLink(urls);
            GetGalleryInfo(nodes,  " //div[@class='slideBannerA homeSlideAD1']/div[1]/div[1]/a ",  out strImg,  out strLink, out strLinAlt);

 

淘宝今日活动：

///   <summary>
         ///  淘宝今日活动
         ///   </summary>
         ///   <param name="htmlNode"> 页面节点集合 </param>
         ///   <param name="xPath"> 选择的路径 </param>
         ///   <param name="imgs"> 图片集合 </param>
         ///   <param name="links"> 链接集合 </param>
         ///  调用：
         ///     string[] strLink;
         ///     string[] strImg;
         ///     HtmlAgilityPack.HtmlNode nodes = GetHtmlNodeFromLink(" http://www.taobao.com ");
         ///     GetTaobaoGalleryInfo(nodes, "//div[@class='sub-promotion-content']/div[@class='ks-switchable-content zoom']/ul/li", out strImg, out strLink);
         ///   <returns></returns>
         public  static  bool GetTaobaoGalleryInfo(HtmlAgilityPack.HtmlNode htmlNode,  string xPath,  out  string[] imgs,  out  string[] links) // , ref string[] title)
        {
            HtmlNodeCollection hnc = htmlNode.SelectNodes(xPath); // " // div[@class='slideBannerA homeSlideAD1']"
            links =  new  string[hnc.Count];
            imgs =  new  string[hnc.Count];
             try
            {
                 if (hnc.Count <  1)
                     return  false;
                 int i =  0;
                 foreach (HtmlNode node  in hnc)
                {
                    links[i] = node.ChildNodes[ 1].Attributes[ " href "].Value;
                    imgs[i++] = node.ChildNodes[ 1].ChildNodes[ 0].Attributes[ " src "].Value;
                }
                 return  true;
            }
             catch {  return  false; }
        }

 

 

  // 今日炸弹
            HtmlAgilityPack.HtmlNode nodes = GetHtmlNodeFromLink( " http://www.newegg.com.cn/ ");

            HtmlAgilityPack.HtmlNode node = nodes.SelectSingleNode( " //div[@class='colSub']/div[@class='picBanner shellShocker ']/a "); // " // div[@class='slideBannerA homeSlideAD1']"
           
             string strImg = node.Attributes[ " href "].Value;
             string strSrc= node.ChildNodes[ 0].Attributes[ " src "].Value;

 

 

             // 淘宝类别活动
            HtmlAgilityPack.HtmlNode nodes = GetHtmlNodeFromLink( " http://www.taobao.com ");
            HtmlAgilityPack.HtmlNodeCollection node = nodes.SelectNodes( " //span[@class='category-pop']/a "); // " // div[@class='slideBannerA homeSlideAD1']"

             string[] strLink =  new  string[node.Count];
             string[] strText =  new  string[node.Count];

             try
            {
                 int i =  0;
                 foreach (HtmlNode htmlNode  in node)
                {
                    strLink[i] = htmlNode.Attributes[ " href "].Value;
                    strText[i++] = htmlNode.InnerText;
                }
            }
             catch { }

 

 

// 淘宝-服侍-新品推荐
            HtmlAgilityPack.HtmlNode nodes = GetHtmlNodeFromLink( " http://fushi.taobao.com ");
            HtmlAgilityPack.HtmlNodeCollection node = nodes.SelectNodes( " //div[@class='new-product-image-list']/ul[@class='image-list']/li "); // " // div[@class='slideBannerA homeSlideAD1']"

             string[] strLink =  new  string[node.Count];
             string[] strImg =  new  string[node.Count];
             string[] strAlt =  new  string[node.Count];

             try
            {
                 int i =  0;
                 foreach (HtmlNode htmlNode  in node)
                {
                    strLink[i] = htmlNode.ChildNodes[ 0].Attributes[ " href "].Value;
                    strAlt[i] = htmlNode.ChildNodes[ 0].ChildNodes[ 1].InnerHtml;
                    strImg[i++] = htmlNode.ChildNodes[ 0].ChildNodes[ 0].Attributes[ " src "].Value;
                }
            }
             catch { }

 

 

// 针织衫推荐
            HtmlAgilityPack.HtmlNode nodes = GetHtmlNodeFromLink( " http://rihan.vancl.com/ ", " UTF-8 ");
            HtmlAgilityPack.HtmlNodeCollection node = nodes.SelectNodes( " //div[@class='prod_area']/ul/li "); // " // div[@class='slideBannerA homeSlideAD1']"

             string[] strLink =  new  string[node.Count];
             string[] strImg =  new  string[node.Count];
             string[] strAlt =  new  string[node.Count];
             string[] strPrice =  new  string[node.Count];
             string[] strCurrentPrice =  new  string[node.Count];

             int i =  0;
             foreach (HtmlNode htmlNode  in node)
            {
                 try
                {
                    strLink[i] = htmlNode.ChildNodes[ 0].Attributes[ " href "].Value;
                    strAlt[i] = htmlNode.ChildNodes[ 4].ChildNodes[ 1].InnerHtml.Trim();
                    strImg[i] = htmlNode.ChildNodes[ 0].ChildNodes[ 1].Attributes[ " src "].Value;
                    strPrice[i] = htmlNode.ChildNodes[ 6].ChildNodes[ 1].ChildNodes[ 1].InnerHtml.Trim().Replace( " ￥ ",  "");
                    strCurrentPrice[i++] = htmlNode.ChildNodes[ 6].ChildNodes[ 2].InnerHtml.Trim().Replace( " 售价￥ ",  "");
                }
                 catch { }
            }

 

 

         private  void button8_Click( object sender, EventArgs e)
        {
             // http://www.masamaso.com   商品列表
            HtmlAgilityPack.HtmlNode nodes = GetHtmlNodeFromLink( " http://www.masamaso.com/ ",  " UTF-8 ");
            HtmlAgilityPack.HtmlNodeCollection node = nodes.SelectNodes( " //ul/li/div[@class='goods_case'] "); // " // div[@class='slideBannerA homeSlideAD1']"

             string[] strLink =  new  string[node.Count];
             string[] strImg =  new  string[node.Count];
             string[] strAlt =  new  string[node.Count];
             string[] strPrice =  new  string[node.Count];
             string[] strCurrentPrice =  new  string[node.Count];

             int i =  0;
             foreach (HtmlNode htmlNode  in node)
            {
                 try
                {
                    strLink[i] =  " http://www.masamaso.com/ " + htmlNode.ChildNodes[ 1].ChildNodes[ 0].Attributes[ " href "].Value;
                    strAlt[i] = htmlNode.ChildNodes[ 1].ChildNodes[ 0].Attributes[ " title "].Value;
                    strImg[i] = htmlNode.ChildNodes[ 1].ChildNodes[ 0].ChildNodes[ 0].Attributes[ " src "].Value;
                     // strPrice[i] = htmlNode.ChildNodes[6].ChildNodes[1].ChildNodes[1].InnerHtml.Trim().Replace("￥", "");
                    strCurrentPrice[i++] = htmlNode.ChildNodes[ 3].ChildNodes[ 1].ChildNodes[ 1].ChildNodes[ 0].InnerHtml.Trim().Replace( " &yen; ",  "");
                }
                 catch 
                { }
            }
        }

         private  void button9_Click( object sender, EventArgs e)
        {
             // http://www.masamaso.com/   弹出广告
            HtmlAgilityPack.HtmlNode nodes = GetHtmlNodeFromLink( " http://www.masamaso.com/ ",  " UTF-8 ");
            HtmlAgilityPack.HtmlNodeCollection node = nodes.SelectNodes( " //div[@class='foot_img tabContainer']/div[@class='tabBox']/div[@class='hd_tp'] "); // " // div[@class='slideBannerA homeSlideAD1']"

             string[] strLink =  new  string[node.Count];
             string[] strImg =  new  string[node.Count];
             string[] strAlt =  new  string[node.Count];
             string[] strPrice =  new  string[node.Count];
             string[] strCurrentPrice =  new  string[node.Count];

             int i =  0;
             foreach (HtmlNode htmlNode  in node)
            {
                 try
                {
                    strLink[i] = htmlNode.ChildNodes[ 0].Attributes[ " href "].Value;
                     // strAlt[i] = htmlNode.ChildNodes[1].ChildNodes[0].Attributes["title"].Value;
                    strImg[i++] = htmlNode.ChildNodes[ 0].ChildNodes[ 0].Attributes[ " src "].Value;
                     // strPrice[i] = htmlNode.ChildNodes[6].ChildNodes[1].ChildNodes[1].InnerHtml.Trim().Replace("￥", "");
                     // strCurrentPrice[i++] = htmlNode.ChildNodes[3].ChildNodes[1].ChildNodes[1].ChildNodes[0].InnerHtml.Trim().Replace("&yen;", "");
                }
                 catch 
                { }
            }

            Func();
        }

         private  void Func()
        {
             // http://www.vivian.cn/   弹出广告
            HtmlAgilityPack.HtmlNode nodes = GetHtmlNodeFromLink( " http://www.vivian.cn/ ",  " UTF-8 ");
            HtmlAgilityPack.HtmlNodeCollection node = nodes.SelectNodes( " //div[@class='foot_img tabContainer']/div[@class='tabBox']/div[@class='hd_tp'] "); // " // div[@class='slideBannerA homeSlideAD1']"

             string[] strLink =  new  string[node.Count];
             string[] strImg =  new  string[node.Count];
             string[] strAlt =  new  string[node.Count];
             string[] strPrice =  new  string[node.Count];
             string[] strCurrentPrice =  new  string[node.Count];

             int i =  0;
             foreach (HtmlNode htmlNode  in node)
            {
                 try
                {
                    strLink[i] = htmlNode.ChildNodes[ 0].Attributes[ " href "].Value;
                     // strAlt[i] = htmlNode.ChildNodes[1].ChildNodes[0].Attributes["title"].Value;
                    strImg[i++] = htmlNode.ChildNodes[ 0].ChildNodes[ 0].Attributes[ " src "].Value;
                     // strPrice[i] = htmlNode.ChildNodes[6].ChildNodes[1].ChildNodes[1].InnerHtml.Trim().Replace("￥", "");
                     // strCurrentPrice[i++] = htmlNode.ChildNodes[3].ChildNodes[1].ChildNodes[1].ChildNodes[0].InnerHtml.Trim().Replace("&yen;", "");
                }
                 catch 
                { }
            }

        }

         private  void button10_Click( object sender, EventArgs e)
        {
             // http://www.vivian.cn/ "   产品列表
             HtmlAgilityPack.HtmlNode nodes = GetHtmlNodeFromLink( " http://www.vivian.cn/ ",  " UTF-8 ");
             HtmlAgilityPack.HtmlNodeCollection node = nodes.SelectNodes( " //div[@class='goods_list']/ul/li "); // " // div[@class='slideBannerA homeSlideAD1']"

             string[] strLink =  new  string[node.Count];
             string[] strImg =  new  string[node.Count];
             string[] strAlt =  new  string[node.Count];
             string[] strPrice =  new  string[node.Count];
             string[] strCurrentPrice =  new  string[node.Count];

             int i =  0;
             foreach (HtmlNode htmlNode  in node)
            {
                 try
                {
                    strLink[i] =  " http://www.vivian.cn/ " + htmlNode.ChildNodes[ 1].ChildNodes[ 1].ChildNodes[ 0].Attributes[ " href "].Value;
                    strAlt[i] = htmlNode.ChildNodes[ 1].ChildNodes[ 1].ChildNodes[ 0].Attributes[ " title "].Value;
                    strImg[i] = htmlNode.ChildNodes[ 1].ChildNodes[ 1].ChildNodes[ 0].ChildNodes[ 0].Attributes[ " src "].Value;
                     // strPrice[i] = htmlNode.ChildNodes[6].ChildNodes[1].ChildNodes[1].InnerHtml.Trim().Replace("￥", "");
                    strCurrentPrice[i++] = htmlNode.ChildNodes[ 1].ChildNodes[ 3].ChildNodes[ 3].ChildNodes[ 0].ChildNodes[ 1].InnerHtml.Trim().Replace( " &yen; ",  "");
                }
                 catch 
                { }
            }
        }

 

 

 

 

 

 

转载于:https://www.cnblogs.com/bober/archive/2011/10/27/2226794.html

山清水秀iOS
关注
Html Agility Pack (HAP) 应用入门
无知人生，记录点滴
12-18 4167
【爬虫】系列文章目录上一节简单介绍了 Html Agility Pack (HAP)：c# HTML 解析利器 。本节以一个简单的例子说说 Html Agility Pack (HAP)  的应用。一、下载 or 安装1、下载使用 VS 2015 之前的版本，需要将 Html Agility Pack (HAP) 发布版本下载到本地，然后添加引用。下载地址：HAP 1.4.6          1...
C#使用HtmlAgilityPack抓取糗事百科内容实例
09-03
在这个实例中，我们将详细讲解如何使用HtmlAgilityPack从糗事百科网站抓取热门内容。 首先，你需要在你的项目中引入HtmlAgilityPack库。可以通过NuGet包管理器进行安装，搜索“HtmlAgilityPack”并添加到你的解决...
HtmlAgilityPack使用
weixin_34375054的博客
06-29 73
  http://stackoverflow.com/questions/5876825/htmlagilitypack-and-timeouts-on-load http://stackoverflow.com/questions/12468497/how-can-i-add-a-webrequest-to-set-timeout-when-loading-a-url-to-document...
HTML Agility Pack 使用教程
最新发布
gitblog_00582的博客
08-13 718
HTML Agility Pack 使用教程 html-agility-packHtml Agility Pack (HAP) is a free and open-source HTML parser written in C# to read/write DOM and supports plain XPATH or XSLT. It is a .NET code library that ...
HtmlAgilityPack 详细使用
weixin_33739523的博客
09-15 161
使用HtmlAgilityPack抓取网页数据 http://www.cnblogs.com/yxlblogs/p/3499420.html   http://www.cnblogs.com/xdpxyxy/archive/2013/05/05/3061334.html   http://www.cnblogs.com/GmrBrian/p/6201237.html...
htmlagilitypack的简单使用
weixin_30443075的博客
01-13 81
1.新建一个web页。 2.添加引用，引入htmlagilitypack。 3.代码 protected void Page_Load(object sender, EventArgs e) { HtmlWeb htmlWeb = new HtmlWeb(); //实例化HtmlAgilityPack.HtmlDocu...
c#使用htmlagilitypack解析html格式字符串
09-04
要使用HTML Agility Pack，首先需要将HtmlAgilityPack库引入到你的项目中。这可以通过NuGet包管理器完成，搜索"HtmlAgilityPack"并安装。安装后，可以在项目中引用`HtmlAgilityPack`命名空间，如所示： ```csharp ...
使用HtmlAgilityPack XPath 表达式抓取博客园数据的实现代码
10-28
在探讨使用HtmlAgilityPack和XPath表达式抓取博客园数据的实现代码时，我们首先需要了解HtmlAgilityPack是一个.NET库，它可以用来解析HTML文档并操作HTML节点。XPath是一种在XML文档中查找信息的语言，也可以应用于...
HtmlAgilityPack的简单使用
懒人改变世界
11-06 1253
HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument(); doc.LoadHtml(html); HtmlAgilityPack.HtmlNode rootnode = doc.DocumentNode; HtmlAgilityPack.HtmlNode row = rootnode.SelectSingleNod
html组件的使用方法,HTML解析组件HtmlAgilityPack使用方法介绍
weixin_29038537的博客
06-25 320
HtmlAgilityPack是一个开源的解析HTML元素的类库，最大的特点是可以通过XPath来解析HMTL，如果您以前用C#操作过XML，那么使用起HtmlAgilityPack也会得心应手。目前最新版本为1.4.6,下载地址如下：http://htmlagilitypack.codeplex.com/下面以一个简单的例子来介绍下HtmlAgilityPack的使用，对于Asp.Net程序开发...
HtmlAgilityPack C# 爬虫源码 爬图片
05-02
HtmlAgilityPack C# 爬虫源码 爬图片 使用HtmlAgilityPack类库解析html非常方便，然后用正则表达式得到相应的地址
HtmlAgilityPack获取HTML节点内容
05-24
使用HtmlAgilityPack进行开发的一个小实例.供需要的人进行参考.
C# HtmlAgilityPack 爬虫实例
08-22
基于HtmlAgilityPack的C#(.net core)爬虫实例 ，请求网页，利用HtmlAgilityPack解析网页数据，获取电影评分，产地演员和获奖信息然后存库。例子中的网址是猫眼电影网地址。
C#使用HtmlAgilityPack爬虫实例
cxhgg的博客
03-09 4899
使用HtmlAgilityPack类库解析html非常方便，网上的资料有很多，可以自行搜索了解 下面上一个非常简单的小例子 要爬取的信息如下： 首先要引用HtmlAgilityPack.dll文件 上代码： internal void Run() { string url = "爬取网站URL";
关于HtmlAgilityPack 的应用方式（网页爬虫）
weixin_40029679的博客
05-22 403
获取 当前 tableid为 prpCmainHeadInput方式为 HtmlAgilityPack.HtmlDocument wc = new HtmlAgilityPack.HtmlDocument(); wc.LoadHtml(InfoStr); HtmlNodeCollection TableList = wc.DocumentNode.SelectNodes("//table[@id=‘prpCmainHeadInput’]"); 获取以下tr 的数据 HtmlDocument OneTabl
HtmlAgilityPack使用(一)【获取文档链接】
李赛赛的专栏
12-13 621
using System; using System.Collections; namespace HtmlAgilityPack.Samples { //获取文档链接 class GetDocLinks { [STAThread] static void Main(string[] args) {
C# HTML解析工具HtmlAgilityPack使用简介
热门推荐
weixin_40362806的博客
10-10 1万+
一、说明，官方CodePlex地址：http://htmlagilitypack.codeplex.com/ Html Agility Pack 不算一个很复杂的类库，但它的功能确不弱，为解析DOM已经提供了足够强大的功能支持，可以跟jQuery操作DOM媲美：） Html Agility Pack最常用的基础类其实不多，对解析DOM来说，就只有HtmlDocument和HtmlNode这两个常用的类，还有一个 ...
使用HtmlAgilityPack解析Html实现信息采集
wnety的专栏
01-24 2980
项目需求经常会遇到一种场景，需要对远程网站特定页面自动抓取内容保存下来，比如抓取大网站的新闻存到本地作为自己网站的内容发布。本文将介绍使用HtmlAgilityPack组件来手动实现该功能，文章底部有该Demo的源码下载。 HtmlAgilityPack简介：HtmlAgilityPack是一款开源的Html解析类库，可方便地解析Html节点（包括批量节点和单个节点）。 抓取内容比较常见的情形是给定新闻列表页地址，从列表中批量抓取具体内容，比如一次性抓取该列表页20条记录的标题、详情等。 本例解析“国
HtmlAgilityPack 使用
06-02
使用HtmlAgilityPack可以方便地解析HTML文档，以下是使用HtmlAgilityPack的一些示例代码： 1. 加载HTML文档： ``` HtmlDocument doc = new HtmlDocument(); doc.Load("index.html"); ``` 2. 获取HTML元素： ``` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值