PYTHON解析XML的多种方式效率对比实测

在最初学习PYTHON的时候，只知道有DOM和SAX两种解析方法，但是其效率都不够理想，由于需要处理的文件数量太大，这两种方式耗时太高无法接受。

在网络搜索后发现，目前应用比较广泛，且效率相对较高的ElementTree也是一个比较多人推荐的算法，于是拿这个算法来实测对比，ElementTree也包括两种实现，一个是普通ElementTree（ET），一个是ElementTree.iterparse（ET_iter）。

本文将对DOM、SAX、ET、ET_iter四种方式进行横向对比，通过处理相同文件比较各个算法的用时来评估其效率。

程序中将四种解析方法均写为函数，在主程序中分别调用，来评估其解析效率。

解压后的XML文件内容示例如下，我自己的需求是解析其中第一个measurement内容，其他的内容丢弃。eNB的属性以及object的属性都需要解析并和v字段的文本一起写入csv文件。

主程序函数调用部分代码为：

在最初的函数调用中函数返回两个值，但接收函数调用值时用两个变量分别调用，导致每个函数都要执行两次，之后修改为一次调用两个变量接收返回值，减少了无效调用。

1、DOM解析

函数定义代码：

程序运行结果：

由于DOM解析需要将整个文件读入内存，并建立树结构，其内存消耗和时间消耗都比较高，但其优点在于逻辑简单，不需要定义回调函数，便于实现。

2、SAX解析

函数定义代码：

程序运行结果：

SAX解析相比DOM解析，运行时间大幅缩短，由于SAX采用逐行解析，对于处理较大文件其占用内存也少，因此SAX解析是目前应用较多的一种解析方法。其缺点在于需要自己实现回调函数，逻辑较为复杂。

3、ET解析

函数定义代码：

程序运行结果：

相较于SAX解析，ET解析时间更短，并且函数实现也比较简单，所以ET具有类似DOM的简单逻辑实现且匹敌SAX的解析效率，因此ET是目前XML解析的首选。

4、ET_iter解析

函数定义代码：

程序运行结果：

在引入了ET_iter解析后，解析效率比ET提升了近50%，而相较于DOM解析更是提升了35倍，在解析效率提升的同时，由于其采用了iterparse这个循序解析的工具，其内存占用也是比较小的。

所以，小伙伴们，请好好利用这几种工具吧。

主程序文件为./xml_parser/os_walk_dom_parser_func.py，测试用mro文件目录为：./mro

测试用的程序和文件可以到我的github页面下载，欢迎小伙伴们一起学习讨论。

转载于:https://www.cnblogs.com/zhangshuyx/p/5336295.html