了解 ibm® db2® 9 for Linux®, UNIX®, and windows® 新的 XML 存储和查询环境如何处理本系列 第 1 部分 中描述的 XML 数据模型。第 2 部分主要关注如何在应用程序体系结构中使用新的 XML 数据库支持。 简介 XML 在数据库中的地位在过去两年中已经发生了变化,从 “临时工” 变成了重要成员。它不再需要改变本身来适应关系环境。它可以保持其层次化性质,同时利用关系数据库环境的功能和稳定性。实际上,一些关系性元素已经采用某些技术让它们看起来像 XML,以便利用层次化 XML 模型丰富的功能。 本文讨论新的 XML 存储和查询环境如何处理本系列 第 1 部分 中的 XML 数据模型。还要说明,在采用新的基于 XML 的应用程序开发体系结构之后,数据库模式会变得更简单更自然。还演示如何按照在应用程序中查询数据的相同方式查询数据库中的 XML 数据。最后,讨论如何结合关系数据和 XML 数据,从而同时获得这两个环境的优势。 XML 数据库基础 尽管大多数主流关系数据库都有某种 XML 支持,但是 db2 的 pureXML™ 支持要健壮和高效得多,这使它成为试验 XML 编程模型的理想数据库。本文主要关注如何在应用程序体系结构中使用新的 XML 数据库支持。 db2 允许存储、查询、操作和发布:
- 关系数据 — sql
- 采用 XML 形式的关系数据 — sql/XML
- XML 数据 — XQuery
- 混合型数据(关系数据和 XML 数据) — sql/XML 和 XQuery
图 1. db2 混合型存储 ![DB2 混合型存储](http://dev.yesky.com/imagelist/2008/014/w7p0q54hoor1.gif) 在数据库中存储 XML 关系数据库中的 XML 支持的主要好处是,可以在同一个表中同时存储关系数据和 XML 数据。另外,尽管 XML 在内部存储为层次化(树)格式,但是它看起来像是存储在数据库表的单一列中(就像 CLOB 或 BLOB)。 从第 1 部分中的数据对象可以看出,有两个表,每个表至少有两列。 清单 1. 表
CREATE table CUSTOMER_TABLE ( CUSTOMERID CHARACTER (12) NOT NULL, CUSTXML XML NOT NULL , CONSTRAINT CC1183665042494 PRIMARY KEY ( CUSTOMERID) )
CREATE table PURCHASE_TABLE ( CUSTOMERID CHARACTER (12) NOT NULL , ITEMXML XML NOT NULL , CONSTRAINT CC1183665244645 FOREIGN KEY (CUSTOMERID) REFERENCES CUSTOMER_TABLE (CUSTOMERID) ON DELETE CASCADE ON UPDATE NO ACTION ENFORCED ENABLE QUERY OPTIMIZATION ) | 显然,通过将应用程序的数据对象存储为 XML,关系模式大大简化了。另外,基础结构仍然是关系型的,这使 XML 数据能够利用关系数据库的实用功能,比如触发器、约束和外键关系。 因为从逻辑上看 XML 列与 VARCHAR、CLOB 或 BLOB 列相似,所以 INSERT 语句也是相似的。
insert into CUSTOMER_TABLE values('hardeep','<Customer customerid="hardeep" firstname="hardeep" lastname="singh"/>') | 在 Java™ 程序中执行插入的代码也是相似的: 清单 2. 在 Java 程序中执行插入
String insertsql= "insert into PURCHASE_TABLE values(?,?)"; PreparedStatement iStmt=connection.prepareStatement(insertsql); File inputfile= new File(filename); //filename is the path of the XML file long filesize=inputfile.length(); BufferedReader in = new BufferedReader(new FileReader(inputfile)); iStmt.setCharacterStream(1,in,(int)filesize); int rc= iStmt.executeUpdate(); | 为了更好地了解混合型存储,我们来看看 XML 数据的逻辑视图,体会 XML 数据如何看起来像是存储在关系数据库表中。 注意:尽管不同关系数据库厂商的 XML 物理存储技术可能不一样,但是逻辑视图是相似的。 图 2. db2 混合型存储逻辑视图 ![DB2 混合型存储逻辑视图](http://dev.yesky.com/imagelist/2008/014/8h54h2u95122s.jpg) 查询 XML 在展开数据库模式模型时,可以看到关系表和列。如果展开 XML 列,模式会从关系模型变成 XML 层次化模型。现在,您应该意识到其实有两个模式(一个关系模式和一个 XML 模式),但是把它们当作一个整体;理解了这一点,就能够以更自然的方式在这个统一的模式中进行导航和查询。 对于清单 1 所示的统一模式,如果希望获得 CUSTOMER_TABLE 中 CUSTXML 列的数据,那么可以在查询中指定 CUSTXML 列的路径作为目标。
SELECT CUSTXML FROM CUSTOMER_TABLE where customerid='hardeep'; | 这会返回 hardeep 的 CUSTXML 列中的客户数据。 现在,考虑如何获得其 lastname 为 singh 的客户数据。在这种情况下,需要指定每个 XML 文档的 lastname 属性的路径(CUSTOMER_TABLE.CUSTXML/Customer/@lastname)并检查它是否是 singh。 在完美的环境中,查询应该是 Select * from CUSTOMER_TABLE where CUSTXML/Customer/@lastname='singh'。但是在真实环境中,需要用数据库查询引擎能够理解的一种语法编写查询。数据库领域已经引入了一种称为 XQuery 的新语言,可以用它查询 XML 文档。SQL 添加了可以理解这种语言的新函数,从而将关系和 XML 环境联系起来了。所以搜索姓氏为 singh 的客户的查询如下:
select CUSTXML from CUSTOMER_TABLEwhere xmlexists ('$cust/Customer[@lastname= "singh" ]' passing CUSTXML AS "cust" ) | 还可以在 Java 程序中通过参数化查询执行这个调用:
select CUSTXML from CUSTOMER_TABLEwhere xmlexists ('$cust/Customer[@lastname= $lname ]'passing CUSTXML AS "cust" , cast(? as VARCHAR(12)) as "lname") | 掌握了向 sql/XML 函数传递参数的语法之后,您会发现,在针对关系数据和 XML 数据的基本混合型查询中,XML 查询通常包含 XPath 表达式。这与在应用程序层中操作 XML 数据模型的方法非常相似(见第 1 部分),在那里许多代码通过对 Document Object Model(DOM)包装器进行 XPath 调用来查询和操作 XML 数据。 注意:在 Viper 2 中,对传递给一些 sql/XML 函数的参数做了简化。例如,在前面的查询中,XMLExists 的 passing 子句不需要指定 CUSTXML 列。
select CUSTXML from CUSTOMER_TABLEwhere xmlexists ('$CUSTXML/Customer[@lastname= $lname ]'passing cast(? as VARCHAR(12)) as "lname") | 将应用程序逻辑放在数据库中 XQuery 提供了大多数高级语言的所有基本功能(if-then-else、for、变量、函数和算术操作符)。因此,可以将业务逻辑嵌入查询中。另外,它还提供许多常用的 XSLT 映射,所以它不但能够执行查询,还能够在数据库中转换 XML 输出。 我们仍然以第 1 部分中 Customer 示例的 XML 数据模型为例。
<Customer customerid ="" firstname="" lastname="" ><Items><Item ID="" description="" purchaseDate="" price="" /></Items></Customer> | 用 db2 查询替代应用程序代码 我们不必在应用程序层中合并来自两个表的 XML 数据,可以在数据库中用一个 sql/XML 查询实现相同的效果。这需要一个 CUSTOMER_TABLE.CUSTXML/Customer/@customerid 到 PURCHASE_TABLE.ITEMXML/Customer/@customerid 的一对多联结。 图 3. 联结两个 XML 列 ![联结两个 XML 列](http://dev.yesky.com/imagelist/2008/014/4ld02617973ts.jpg) 清单 3. 查询两个 XML 列
values(xmlquery('for $Customer in db2-fn:xmlcolumn( "CUSTOMER_TABLE.CUSTXML")/Customerwhere $Customer/@customerid= $customeridreturn<Customer customerid ="{$Customer/@customerid}"firstname ="{$Customer/@firstname}" lastname ="{$Customer/@lastname}" >{for $Customer0 in db2-fn:xmlcolumn("PURCHASE_TABLE.ITEMXML")/Customerwhere $Customer0/@customerid= $Customer/@customeridreturn $Customer0/Item}</Customer>' passing cast( ? AS varchar(255) ) as "customerid" )) | 对于客户 hardeep 购买的所有商品,产生的 XML 如下: 图 4. 查询结果 ![查询结果](http://dev.yesky.com/imagelist/2008/014/4wepc76h561c.jpg) 在上面的查询中,必须构造外层的 Customer 元素并添加来自 CUSTXML 列数据的属性。DB2 Viper 2(beta)支持 XQuery 更新表达式,可以修改 XML 文档,所以不需要构造外层的 Customer 元素。可以使用来自客户表的一个 XML 文档,并将来自购买表的商品数据作为子元素插入其中。 清单 4. 针对两个 XML 列的 Viper 2 查询
values(xmlquery(' for $Customer in db2-fn:xmlcolumn( "CUSTOMER_TABLE.CUSTXML")/Customerlet $items:=(<Items>{for $Customer0 in db2-fn:xmlcolumn("PURCHASE_TABLE.ITEMXML")/Customerwhere $Customer0/@customerid= $Customer/@customeridreturn $Customer0/Item}</Items>)where $Customer/@customerid= $customeridreturntransformcopy $cust:=$Customermodify(do insert $items as last into $cust)return $cust' passing hardeep as "customerid" )) | 在上面的查询中,不但搜索、获取和合并了数据库中存储的 XML 文档部分,还在产生的 XML 中添加了新元素。另外,hardeep 被隐式转换为 XML 类型(xs:string)。 对比数据库查询和 Java 应用程序代码 如果将上面的查询与第 1 部分中的 Java 代码(清单 6. 重写应用程序来使用 XML 模型)做一下对比,就会发现它们的逻辑非常相似。
- 从 CUSTOMER_TABLE 中选择 Customer 信息。
- 构造一个 Items 元素并在 PURCHASE_TABLE 中搜索这位客户购买的所有商品。
- 循环遍历列表中的每个商品并将它们插入 Items 元素。
- 将 Items 元素插入 Customer 元素。
创建存储过程 为了将数据库中的业务逻辑与应用程序代码隔离开,一种好方法是为这个查询创建一个存储过程。 清单 5. 创建存储过程
CREATE PROCEDURE customerItems(IN custid varchar(12)) DYNAMIC RESULT SETS 1 LANGUAGE sql BEGIN DECLARE c_cur CURSOR WITH RETURN FOR
values(xmlquery('
for $Customer in db2-fn:xmlcolumn( "CUSTOMER_TABLE.CUSTXML")/Customer
let $items:=(<Items>{
for $Customer0 in db2-fn:xmlcolumn("PURCHASE_TABLE.ITEMXML")/Customer where $Customer0/@customerid= $Customer/@customerid return $Customer0/Item
}</Items>)
where $Customer/@customerid= $customerid
return transform copy $cust:=$Customer modify( do insert $items as last into $cust) return $cust
' passing custid as "customerid" )) OPEN c_cur; END | 用存储过程调用替代应用程序代码 应用程序代码现在可以对 db2 进行存储过程调用并将 XML 传递给 DOM 包装器。第 1 部分中的 XML 数据模型的应用程序代码(清单 6. 重写应用程序来使用 XML 模型,2-8 行)可以简化为:
2. ResultSet dbResult = dbstmt.executeQuery("call customerItems ("+custid+")"3. XMLParse customerXML = new XMLParse(dbResult. getString(1)); | 一个更精细的示例 现在考虑一个比较精细的场景,这个场景还要计算每个商品的保险费。为了让这个场景有点儿难度,保险费不但每天变动,而且随价格变化。这意味着,不但要向查询传递 customerid,还要传递保险费率。现在,假设您每天在保险公司提供的一个 Web 服务中查询最新的保险费率。保险费率信息采用 XML 文档的形式。
<insurance><rate price="100" currency="___FCKpd___9quot; rate=".02"/><rate price="500" currency="___FCKpd___9quot; rate=".018"/><rate price="" currency="___FCKpd___9quot; rate=".015"/></insurance> | 可以修改前面的存储过程来计算保险费。 清单 6. 计算每个商品的保险费的存储过程
CREATE PROCEDURE customerItemsWithInsurance(IN custid varchar(12), rate XML) DYNAMIC RESULT SETS 1 LANGUAGE sql BEGIN DECLARE c_cur CURSOR WITH RETURN FOR
values(xmlquery('
for $Customer in db2-fn:xmlcolumn( "CUSTOMER_TABLE.CUSTXML")/Customer
let $items:=( <Items>{ for $Customer0 in db2-fn:xmlcolumn("PURCHASE_TABLE.ITEMXML")/Customer
let $insurance:=<insurance currency="{($rate//rate[@price=""]/@currency)}"> {( if($Customer0/Item/@price > 500) then ( $Customer0/Item/@price * $rate//rate[@price=""]/@rate ) else (
if($Customer0/Item/@price > 100) then ( $Customer0/Item/@price * $rate//rate[@price="500"]/@rate ) else ( $Customer0/Item/@price * $rate//rate[@price="100"]/@rate )
) )}</insurance>
where $Customer0/@customerid= $Customer/@customerid
return transform copy $item:=$Customer0/Item modify( do insert $insurance as last into $item) return $item }</Items> )
where $Customer/@customerid= $customerid
return transform copy $cust:=$Customer modify(do insert $items as last into $cust) return $cust
' passing custid as "customerid", rate as "rate" ));
OPEN c_cur; END | 对这个存储过程的调用接受两个运行时参数,customerid 和保险 XML。 call customerItemsWithInsurance(?,?) 显然,在上面的示例中,如果要操作的数据库数据是 XML 格式的,那么可以使用 XQuery 实现比只使用 sql 时更多的业务逻辑。另外,查询中使用的 XML 甚至不需要在数据库中存在。因此,SQL/XML 查询中涉及的 XML 数据可以按照层次化形式存储在数据库中,可以由 sql/XML 函数生成,甚至可以作为运行时参数传递给查询。数据库和应用服务器之间的差异逐渐变得模糊了。 优点和缺点 所有新技术在刚刚出现时都会有一些问题。一些问题是由于实现还不成熟造成的,其他问题是由于开发人员还不适应变化。
- 尽管性能有所改进,但是仍然比不上关系数据。
- XQuery 是一种新语言,而且一些 sql/XML 函数的语法需要花时间适应。
- 有许多遗留数据采用关系格式。
- 最重要的是,这是一种创建业务应用程序和数据模式的新方式,它与当前的面向对象应用程序和规范化关系模式很不一样。
- 能够对这类查询进行调试和优化的工具还不多。
尽管存在这些缺点,但是新的模型管理数据的方式更加自然。在应用程序层和数据库层中都按原样维护和操作业务数据信息,而且您将第 3 部分中看到,甚至在客户机层中也是如此。 尽管外围语言可能不一样(Java、XQuery、JavaScript、PHP),但是在所有层中用来在 XML 文档中移动的语言都是相同的(XPath)。 即使遗留数据是关系型的,但是通过使用 Viper 2 中引入的一些 sql/XML 函数,可以轻松地查询这些数据并将它们转换为 XML。看一下第 1 部分中的示例 “第二种情况 —— 所有数据在数据库中存储为关系形式”。可以使用 Viper 2 中引入的 XMLROW 函数简化这个查询。
Select XMLROW (customerid, firstname, lastname OPTION as attributes ROW Customer)from customer_table where customerid=? | 还可以在关系数据和 XML 数据之间创建联结。在这个示例场景中,如果有第三个表,其中包含购买商品的产品说明,而且这是一个关系表,那么可以使用商品 ID 执行联结,从而获得购买的每种商品的产品说明。 图 5. 联结关系列和 XML 列 ![联结关系列和 XML 列](http://dev.yesky.com/imagelist/2008/014/3cir3mt4dyor.jpg)
Select details, weight from SQLPRODUCT, ITEM_TABLEwhere xmlexists ('$itemxml/item[@itemid=$pid]'passing ITEM_TABLE.ITEMXML AS "itemxml", SQLPRODUCT.PID AS "pid" ) | 在 db2 9 中,可以使用 passing 子句向 sql 语句中嵌入的 XQuery 传递运行时参数,但是不能向 XQuery 中嵌入的 sql 传递参数。在 Viper 2 中,这个限制已经消除了,现在可以向 XQuery 中嵌入的关系查询传递运行时变量。 清单 7. 向 XQuery 中嵌入的 sql 传递运行时变量
values(xmlquery('
for $Customer0 in db2-fn:xmlcolumn("PURCHASE_TABLE.ITEMXML")/Customer where $Customer0/@customerid= $custid return ( $Customer0/Item, db2-fn:sqlquery( ''select xmlrow(details, description, weight option ROW "description") from sqlproduct where pid= parameter(1)'', $Customer0/Item/@ID))
' passing cast( ? AS varchar(255) ) as "custid" )) | 因此,即使一部分数据位于关系表中,一些数据是 XML,现在都可以在 sql 查询、XQuery 或这两者中在 XML 数据和关系数据之间进行动态联结。 在某些情况下,性能可能不是大问题,因为:
- 能够为数据库中存储的 XML 文档创建基于 XPath 表达式的索引。
create index custfname on customer_table(info) generate keyusing xmlpattern '/Customer/@firstname' as sql varchar(64) |
- 因为数据库模式更简单,所以减少了所需的联结数量。
- 因为现在可以在查询中缩减数据,然后再把数据发送给应用程序,所以可以减少 I/O。
- 随时可以使用 sql/XML 函数(比如 XMLTable)将 XML 文档中的关键信息提取到关系列中,并为它们创建关系索引。
- 可以为 XML 文档创建文本搜索索引。
结束语 XML 已经取得了稳固的地位。大多数行业和政府组织都对他们的 XML 模式做了标准化,并要求电子文档必须符合这些模式。既然通过线路交换的 B2B 数据已经采用了 XML 格式,为什么不在数据库中按原样(pureXML)存储这些数据呢?将数据存储为 XML 之后,可以使用 XQuery 和标准的 sql/XML 对它进行编制索引、查询、检验、操作、转换和更新。随着越来越多的应用程序逻辑被放在查询中,数据库可以以 Web 服务和 feed 的形式公开它的存储过程,从而成为面向服务体系结构(SOA)环境中活跃的参与者。 |