VB.net使用HTML解析组件HtmlAgilit…

DexterLien

已于 2022-07-28 23:23:21 修改

阅读量3.4k

点赞数

分类专栏： vb.net 文章标签： .net html 前端

于 2017-05-27 10:34:10 首次发布

本文链接：https://blog.csdn.net/lpwmm/article/details/72779196

版权

vb.net 专栏收录该内容

29 篇文章 1 订阅

订阅专栏

之前虽然研究过一点.net winform下网页抓取的技术,但是没有实际项目应用也就没有深入了,最近又用到了这个需求,好好记录一下学习的过程

首先要介绍的是这个神器叫做HtmlAgilityPack,是一个DLL存在的扩展,下载地址:http://htmlagilitypack.codeplex.com/ 解压缩后根据要用的.net版本选择对应的dll文件就行了

一直在用Visual Studio2010做VB.net的开发,感觉顺手了,也就懒得换新版本的IDE,下面就在VS2010中先新建一个VisualBasic项目,简单的做一个测试用的窗体界面如下:

两个textbox,一个button,一个richtextbox(用来输出抓取结果),在项目引用中添加HtmlAgilityPack.dll的引用

完整代码如下:

Imports HtmlAgilityPack     '引用HtmlAgilityPack包
Imports System.Net

Public Class Form1

    Private Sub getContentButton_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles getContentButton.Click
        If urlTextbox.Text <> "" Then
            outRichTextBox.Clear()
            Dim url As String = urlTextbox.Text
            Dim wc As New HtmlWeb       '这个htmlweb是HtmlAgilityPack中的一个对象
            Dim doc As HtmlDocument = wc.Load(url)  '这个HTMLDocument也是HtmlAgilityPack中的对象,而不是平时使用的System.Windows.Forms.HtmlDocument
            Dim rootNode As HtmlNode = doc.DocumentNode
            Dim xpathStr As String = xpathTextbox.Text
            Try
                Dim test As HtmlNodeCollection = rootNode.SelectNodes(xpathStr)
                If test IsNot Nothing Then
                    outRichTextBox.AppendText("开始读取" & vbCrLf & "==================================" & vbCrLf)
                    For Each node As HtmlNode In test
                        Me.outRichTextBox.AppendText(node.InnerText & vbCrLf & "---------------------------------------------" & vbCrLf)
                        Me.outRichTextBox.AppendText(node.GetAttributeValue("href", ""))
                    Next
                    outRichTextBox.AppendText("读取结束")
                End If
            Catch ex As Exception
                outRichTextBox.Text = ex.Message
            End Try
        End If
    End Sub
End Class

程序实现效果如下

比如说,我想要抓取www.cnbeta.com首页的这个字段,在Firefox中使用firebug可以很方便的找到目标对应的xpath路径

复制出来的XPath为 /html/body/section/div[2]/div[1]/div[1]/div[2]/div[1]/dl[1]/dt/a

我们运行程序进行测试

妥妥的抓出来了,后面输出的是该标题对应的href属性值,不得不说HTMLAgilityPack结合Firebug对网页元素进行抓取真的是炒鸡方便呢~