我有一个要求,我必须处理巨大的XML文件。这意味着可能会有大约1000个xml文件,这些文件的整个大小约为2GB。
我需要的是将这些文件中的所有数据存储到Oracle数据库中。为此,我使用sqlloader将所有XML文件批量上传到我的数据库,并将其作为二进制XMLTYPE存储在我的数据库中。现在,我需要查询这些文件并将数据存储在关系表中。为此,我使用了XMLTable Xpath查询。当我尝试在我的数据库中查询单个XML文件时,一切正常。但是如果它试图查询所有这些文件,它会花费太多的时间,这是不可接受的。
这是我的一个示例xml内容:
ABCD
PQR
TEST1
TEST2
TEST3
TEST3
TEST5
TEST6
TEST7
JAB1
HER
HIS
LOO
CDS
DRE
QWE
CCD
YTD
QQA
DS
AzDFz
请注意,这只是一个大xml中的一个小记录。每个xml将包含大约5000个相似的记录。类似地,每个文件大小约为400MB,每个大小约为4MB。
我的xmltype查询:
SELECT t.personid, t.firstname, t.middlename,
t.surname,t.maidenname,
replace(replace(t.originalName, ''),
'', ' ') originalName
FROM xml_files p,
XMLTABLE (
--'ABCD/EMPLOYEE/NameDetails/Name/NameValue'
'for $i in ABCD/EMPLOYEE/NameDetails/Name/NameValue
return
{$i/../../../@id}
{$i/../@NameType}
{$i/FirstName}{$i/MiddleName}{$i/OriginalName}
{$i/Surname}{$i/MaidenName}
'
PASSING p.filecontent
COLUMNS
personid NUMBER PATH '@id',
nametypeid VARCHAR2(255) PATH '@NameType',
firstname VARCHAR2(4000) PATH 'FirstName',
middlename VARCHAR2(4000) PATH 'MiddleName',
surname VARCHAR2(4000) PATH 'Surname',
maidenname VARCHAR2(4000) PATH 'MaidenName',
originalName XMLTYPE PATH 'OriginalName'
) t;但是,这花费太多时间来查询所有这些庞大的数据。此查询的结果集将返回大约数百万行。
我试图用这个查询索引表:
CREATE INDEX myindex_xmlperson on xml_files(filecontent) indextype is xdb.xmlindex
parameters ('paths(include(ABCD/EMPLOYEE/NameDetails/Name/NameValue))');虽然索引创建但仍然没有改善。查询甚至是一组10个相似的xml文件需要20分钟以上。现在您可以想象要查询所有这1000个xml文件需要多少时间。
有人可以请建议我如何改进
我的数据库的性能。由于我是新手,我不确定我是否以正确的方式进行操作。如果有更好的解决方案,请提出建议。对你的帮助表示感谢。