使用HtmlAgilityPack批量抓取网页数据

相关软件点击下载

登录的处理。因为有些网页数据需要登陆后才能提取。这里要使用ieHTTPHeaders来提取登录时的提交信息。

抓取网页

 HtmlAgilityPack.HtmlDocument htmlDoc;

            
if  ( ! string .IsNullOrEmpty(登录URL))
            
{
                htmlDoc 
=  htmlWeb.Load(登录URL, 提交的用户验证信息, 获取数据的网页URL);
            }

            
else
            
{
                htmlDoc 
=  htmlWeb.Load(获取数据的网页URL);
            }

        

 

 

 ArrayList list  =   new  ArrayList();
            list.add(
" //table/tr[1]/td " );
            list.add(
" //table/tr[2]/td " );
            
// 获取循环的节点的xpath,比如: // table/tr
            HtmlNodeCollection repeatNodes  =  htmlDoc.DocumentNode.SelectNodes( " //table/tr " );

            
// 循环节点
             foreach  (HtmlNode node  in  repeatNodes)
            
{
                
// 循环获取数据
                 foreach  ( string  dataPath  in  list)
                
{

                    HtmlNode dataNode 
=  node.SelectSingleNode(list);
                    
if  (dataNode  !=   null )
                    
{
                        
string  text  =  dataNode.InnerText;
                    }


                }

            }

如果出现乱码,调整编码集为gb2312或者是utf-8

htmlWeb.DefaultEncoding  =  System.Text.Encoding.GetEncoding(strEncode);

-------------------------------------------------------------------------------------------

using System;

using System.Collections.Generic;

using System.Text;

using Microsoft.VisualStudio.TestTools.WebTesting;

using HtmlAgilityPack;

public class WebTest1Coded : WebTest

{

public override IEnumerator<WebTestRequest> GetRequestEnumerator()

{

WebTestRequest request1 = new WebTestRequest("http://www.microsoft.com/");

request1.ValidateResponse += new EventHandler<ValidationEventArgs>(request1_ValidateResponse);

yield return request1;

}

void request1_ValidateResponse(object sender, ValidationEventArgs e)

{

//load the response body string as an HtmlAgilityPack.HtmlDocument

HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();

doc.LoadHtml(e.Response.BodyString);

//locate the "Nav" element

HtmlNode navNode = doc.GetElementbyId("Nav");

//pick the first <li> element

HtmlNode firstNavItemNode = navNode.SelectSingleNode(".//li");

//validate the first list item in the Nav element says "Windows"

e.IsValid = firstNavItemNode.InnerText == "Windows";

}

}

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值