Python中常用的html数据抽取方法有正则、XPath和BeautifulSoup这三种。其中，最常用的XPath库是lxml。今天再介绍一个库SimplifiedDoc，一起比较一下他们的优劣。
1、安装
|名称| 安装方法 |大小 |说明 |
|--|--|--|--|
|正则| 不需安装（内置） | | |
| lxml| pip install lxml |4.5MB|依赖c语言库 |
| BeautifulSoup| pip install beautifulsoup4 |107kB|如果不使用第三方库，则不需要别的安装 |
| SimplifiedDoc| pip install simplified-scrapy |43kB|没有第三方依赖 |
2、Python版本支持
这几种方法都同时支持Python2和Python3。
2、使用方法
对正则和XPath的使用方法，这里就不重复了，只简单对比下BeautifulSoup和SimplifiedDoc。下面的代码展示了两者实例化及提取数据的方法。
```python
html = '''
<html>
<head>
<title>Example Domain</title>
</head>
<body>
<div id='test'>
test text
</div>
</body>
</html>
'''
# 例子：beautifulsoup菜鸟教程 - python - web教程网
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,features='html.parser')
soup = BeautifulSoup(html,features='lxml')
title = soup.title
# 取所有
divs = soup.findAll(id='test')
divs = soup.select('div#test')
# 取第一个
div = soup.find(id='test')
div = soup.select_one('div#test')
print (div.text)
# 例子：yiyedata/simplified-scrapy-demo
from simplified_scrapy import SimplifiedDoc
doc = SimplifiedDoc(html)
title = doc.title
# 取所有
divs = doc.getElementsByID('test')
divs = doc.selects('div#test')
# 取第一个
div = doc.getElementByID('test')
div = doc.select('div#test')
print (div.text)
```
在使用方法上，有相似的地方，也有不同的地方，但是都挺简单的。这里特别提一下SimplifiedDoc中的getElement方法，每个方法中都有三个可选的参数start=None,end=None,before=None。使用这三个参数，可以帮助定位需要抽取的数据，在合适的时候，可以使抽取很方便。
3、性能对比
在处理速度上，对于正则，处理速度快，并且是有针对性的只处理需要的数据，所以比较公认的是处理速度最快的方式，但是使用起来相对困难。下面只对比lxml、BeautifulSoup、SimplifiedDoc这三种方式。对比代码如下：
```python
from lxml import etree
from bs4 import BeautifulSoup
from simplified_scrapy import SimplifiedDoc
import time
html = '''
<!doctype html>
<html>
<head>
<title>Example Domain</title>
<meta charset="utf-8" />
<meta http-equiv="Content-type" content="text/html; charset=utf-8" />
<meta name="viewport" content="width=device-width, initial-scale=1" />
<style type="text/css">
body {
background-color: #f0f0f2;
margin: 0;
padding: 0;
font-family: -apple-system, system-ui, BlinkMacSystemFont, "Segoe UI", "Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;
}
div {
width: 600px;
margin: 5em auto;
padding: 2em;
background-color: #fdfdff;
border-radius: 0.5em;
box-shadow: 2px 3px 7px 2px rgba(0,0,0,0.02);
}
a:link, a:visited {
color: #38488f;
text-decoration: none;
}
@media (max-width: 700px) {
div {
margin: 0 auto;
width: auto;
}
}
</style>
</head>
<body>
<div>
<h1>Example Domain</h1>
<p>This domain is for use in illustrative examples in documents. You may use this
domain in literature without prior coordination or asking for permission.</p>
<p><a href="IANA-managed Reserved Domains">More information...</a></p>
</div>
</body>
</html>
'''
start = time.time()
for i in range(0,1000):
root = etree.HTML(html)
text = root.xpath('//h1/text()')[0]
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
soup = BeautifulSoup(html,features='html.parser')
text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
soup = BeautifulSoup(html,features='lxml')
text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
doc = SimplifiedDoc(html)
text = doc.h1.html
print (time.time()-start,text)
```
使用VSCode测试对比结果如下：
|名称|调试模式耗时（单位：秒） |
|--|--|
|lxml | 0.10795402526855469|
|BeautifulSoup(html.parser) | 2.5450849533081055|
|BeautifulSoup(lxml) | 2.236968994140625|
|SimplifiedDoc | 0.25988101959228516|
|名称|非调试模式耗时（单位：秒） |
|--|--|
|lxml | 0.12264490127563477|
|BeautifulSoup(html.parser) | 0.799994945526123|
|BeautifulSoup(lxml) | 0.7144896984100342|
|SimplifiedDoc | 0.14832687377929688|
不管调试模式或非调试模式，lxml的速度是最快的，SimplifiedDoc第二，BeautifulSoup第三。其中有一个奇怪的地方不知道是怎么回事，非调试模式下速度都相对提高，lxml却是变慢了。
4、总结
lxml不负众望速度是除正则外最快的，小众的SimplifiedDoc速度挺快，使用方法也简单，值得大家试用一下。
|名称| 安装方法 |大小 |速度|说明 |
|--|--|--|--|--|
|正则| 不需安装（内置） | | 最快||
| lxml| pip install lxml |4.5MB|快|依赖c语言库 |
| BeautifulSoup| pip install beautifulsoup4 |107kB|慢|如果不使用第三方库，则不需要别的安装 |
| SimplifiedDoc| pip install simplified-scrapy |43kB|较快|没有第三方依赖 |
扫一扫
285
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
