XML解析技术之VTD-XML 简介及代码实例

第一部分:XML解析技术简介

       XML(eXtensible Markup Language,可扩展标记语言)是由World Wide Web联盟(W3C)定义的元语言,即一种关于语言的语言。 Xml的优势或者说力量源于它的数据独立性,广泛应用在分布式计算领域。


XML解析技术的分类


根据从XML中获取数据的简易性,性能和最终所得到的数据模型的不同,XML解析技术大致可分为以下四类:
1.面向文档的流式解析;
2.面向文档的对象式解析;
3.面向文档的指针式解析;
4.面向应用的对象式解析;


这四类解析技术分别处于不同的抽象层次,适用于不同的应用场景, 针对具体的应用需求,选择合适的解析技术,往往能够减少内存消耗,缩短处理时间,更方便地获取数据,提高应用系统的整体性能。

1.1 面向文档的流式解析

流式解析是解析器顺序读取XML文档,捕获的各种事件,如元素开始和元素结束等,交由程序处理。
流式解析又分为两种解析方式:
1.推式解析(SAX:Simple API for XML)
2.拉式解析(StAX:Streaming API for XML)
这两种方式的主要区别在于是由解析器还是应用程序控制读循环(读入文件的循环)

 1.1.1推式解析(SAX)

在这种解析方式中,解析器控制着读循环,在文档结束之前控制权不会返回给应用程序。

SAX是基于事件驱动的,即SAX解析器在读取XML文档的过程中生成一个事件流,并且对于每个事件通过回调事件处理程序中相应的方法来进行处理。比如元素开始和结束标记,元素内容,实体,语法分析错误等事件。

下图表示了一个Xml文件及其对应的文件流格式。

注:如图所示,回车换行也被解析成了一个字符。

SAX数据流

 1.1.2拉式解析(StAX)

在这种解析方式中,应用程序控制着读循环。反复调用解析器获得下一个事件,直到文档结束。

StAX针对同样的XML文档所获得事件类型和SAX基本相同。

1.2 面向文档的对象式解析

 

DOM(Document Object Model)是用与平台和语言无关的方式对XML文档进行建模的官方W3C标准 。

DOM的层次化对象模型是一个树形结构,它将一个XML文档看作一棵节点树,每个节点代表一个XML文档中的元素。
DOM的有点在于可以随机访问,但由于DOM在使用数据前需要完整的遍历XML文档,在内存中构建树形结构表示,因此需要消耗大量的内存,尤其是对于大型文档,性能下降的很快。

 

下图表示了Xml文件预期Dom树的对应关系。
DOM树

1.3 面向文档的指针式解析

面向文档的流式解析效率较高,但易用性差,而对象式解析易用性强,却效率较低。
这两种方式都是提取式解析(extractive parsing)。拿DOM这个例子来说,DOM会将每一个element, attribute等都在内存中解析成对象并给与一定结构。

更新 效率问题:这种Dom解析模式注定了需要大量的创建和销毁对象(GC问题),在DOM中(SAX并不支持更新),每一次改动都需要将DOM模型重新完整的解析成XML字符串,原文件并没有被利用,即DOM并不支持增量更新。为了解决这些问题,提出了一种较新颖的指针式解析技术,即VTD-XML(一种面向文档的指针式解析)。

 

二、VTD-XML基本原理介绍

 

VTD-XML是一种无提取的XML解析方法,它较好的解决了DOM占用内存过大的缺点,并且还提供了快速的解析与遍历、对XPath的支持和增量更新等特性。VTD-XML是一个开源项目,目前有Java、C两种平台支持。

2.1 VTD-XML基本原理

 

为了实现non-extractive(非提取)这个目的,它将原XML文件原封不动的以二进制的方式读进内存,连解码都不做,然后在这个二进制byte数组上解析每个 element的位置并把一些信息记录下来,这种记录就被成为VTD(Virtual Token Descriptor,虚拟令牌描述符)。

之后的遍历操作便在这些保存下来的记录上进行,如果需要提取XML内容就利用记录中的位置等 信息在原始byte数组上进行解码并返回字符串。
VTD(Virtual Token Descriptor,虚拟令牌描述符)结构
VTD是一个64bits定长的数值类型,记录了每个元素的起始位置(offset),长度(length),深度(depth)以及令牌(元素标签)的类型(type)等信息。

如下图,表示了每个元素的位置及类型信息,对Xml的所有操作都是基于这个数据结构。

VTD 

 

下图表示了VTD目前所支持的所有元素的类型(12种):

 

VTD类型图

 

查询与更新:
如果需要提取XML内容,就查找VTD数组,利用VTD记录中的位置等信息在原始比特数组上进行解码并返回字符串。
而且VTD-XML还可以高效的实现增量更新,例如,如果想在一个大型XML文档中找出一个节点元素并删除它,那么只需要找到这个元素的VTD,将这个VTD从VTD数组中删除,然后再利用所有的VTD写出到另一个二进制数组中就可以了,这就是所谓增量更新。这个过程实际上就是一个二进制数组的拷贝过程,其效率是非常高的。

 

下图是三种主要的XML解析的相关功能及性能比较:

 

三种XML解析比较

第三部分:应用实例

 

VTD-XML解析xml通常经过以下几步:
    1.以一个byte数组开始(存放xml);
    2.利用VTDGen进行解析;
    3. 利用VTDNav进行导航定位;
    4. 节点遍历使用Autopilot;
    5. 利用Xpath进行节点选择
    6. 增量更新使用XMLModifier

 

下面的代码主要功能:首先根据Xpath选择某些属性partNum='872-AA' 的item元素并用someting元素替换;替换价格小于40的元素文本为200.

 

Java代码   收藏代码
  1. /* In this java program, we demonstrate how to use XMLModifier to incrementally 
  2.  * update an simple XML purchase order. 
  3.  * a particular name space. We also are going  
  4.  * to use VTDGen's parseFile to simplify programming. 
  5.  */  
  6. import java.io.File;  
  7. import java.io.FileOutputStream;  
  8.   
  9. import com.ximpleware.AutoPilot;  
  10. import com.ximpleware.ModifyException;  
  11. import com.ximpleware.NavException;  
  12. import com.ximpleware.VTDGen;  
  13. import com.ximpleware.VTDNav;  
  14. import com.ximpleware.XMLModifier;  
  15.   
  16. public class update {  
  17.   
  18.   public static void main(String argv[]){  
  19.      try {  
  20.     // open a file and read the content into a byte array  
  21.     VTDGen vg = new VTDGen();  
  22.     String path = update.class.getResource("").getPath();  
  23.     System.out.println(path);  
  24.       
  25.     if (vg.parseFile(path + "oldpo.xml"true)){  
  26.         VTDNav vn = vg.getNav();  
  27.         File fo = new File("f:/newpo.xml");  
  28.         FileOutputStream fos = new FileOutputStream(fo);  
  29.         AutoPilot ap = new AutoPilot(vn);  
  30.         XMLModifier xm = new XMLModifier(vn);  
  31.         ap.selectXPath("/purchaseOrder/items/item[@partNum='872-AA']");  
  32.         int i = -1;  
  33.         while((i=ap.evalXPath())!=-1){  
  34.             xm.remove();  
  35.             xm.insertBeforeElement("<something/>\n");   
  36.         }  
  37.         ap.selectXPath("/purchaseOrder/items/item/USPrice[.<40]/text()");  
  38.         while((i=ap.evalXPath())!=-1){  
  39.             xm.updateToken(i,"200");  
  40.         }  
  41.         xm.output(fos);  
  42.         fos.close();  
  43.     }  
  44.      }  
  45.      catch (NavException e){  
  46.          System.out.println(" Exception during navigation "+e);  
  47.      }  
  48.      catch (ModifyException e){  
  49.          System.out.println(" Modify exception occurred "+e);  
  50.      }  
  51.      catch (Exception e){  
  52.      }  
  53.   }  

 修改前的Xml文件:

 

<?xml version="1.0" encoding="UTF-8"?>
<purchaseOrder orderDate="1999-10-20">
    <comment>Hurry, my lawn is going wild!</comment>
    <items>
        <item partNum="872-AA">
            <productName>Lawnmower</productName>
      <quantity><![CDATA[1]]></quantity>
            <USPrice>148.95</USPrice>
            <comment>Confirm this is electric</comment>
        </item>
        <item partNum="926-AA">
            <productName>Baby Monitor</productName>
            <quantity>1</quantity>
            <USPrice>39.98</USPrice>
            <shipDate>1999-05-21</shipDate>
        </item>
    </items>
</purchaseOrder>

 

 

修改后的Xml文件,红色字体为修改后的:

<?xml version="1.0"?>
<purchaseOrder orderDate="1999-10-20">
    <comment>Hurry, my lawn is going wild!</comment>
    <items>
        <something/>
       <item partNum="926-AA">
            <productName>Baby Monitor</productName>
            <quantity>1</quantity>
            <USPrice>200</USPrice>
            <shipDate>1999-05-21</shipDate>
        </item>
    </items>
</purchaseOrder>

官网地址:http://vtd-xml.sourceforge.net/ 


第四部分:其他解析方式

 

前面所谈到的三种解析技术都是面向文档的,还有第四种解析技术:面向应用的对象式解析技术。

面向文档的解析技术对主要关心文档的XML结构的应用程序来说是适用的,但是有很多应用程序仅仅将XML作为数据交换的媒介,它们更关心的是文档数据本身,而面向应用的对象式解析技术更适用。
面向应用的对象式解析技术又称为为XML数据绑定,指将数据从一些存储媒介(如XML文档、文本文件和数据库)中取出,并通过应用程序表示这些数据的过程,即把数据绑定到虚拟机能够理解并且可以操作的某种内存中的结构。

数据绑定并不是一个新鲜的概念,其在关系数据库上早已得到了广泛的应用,如hibernate就是针对数据库的轻量级数据绑定框架。

对象式解析图例

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值