目录
lxml是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高
XPath,全称XML Path Language,即XML路径语言,它是一门在XML文档中查找信息的语言,它最初是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索
XPath的选择功能十分强大,它提供了非常简明的路径选择表达式,另外,它还提供了超过100个内建函数,用于字符串、数值、时间的匹配以及节点、序列的处理等,几乎所有我们想要定位的节点,都可以用XPath来选择
XPath于1999年11月16日成为W3C标准,它被设计为供XSLT、XPointer以及其他XML解析软件使用,更多的文档可以访问其官方网站:https://www.w3.org/TR/xpath/
一、XPath常用规则
表达式 | 描述 |
nodename | 选取此节点的所有子节点 |
/ | 从当前节点选取直接子节点 |
// | 从当前节点选取子孙节点 |
. | 选取当前节点 |
.. | 选取当前节点的父节点 |
@ | 选取属性 |
* | 通配符,选择所有元素节点与元素名 |
@* | 选取所有属性 |
[@attrib] | 选取具有给定属性的所有元素 |
[@attrib='value'] | 选取给定属性具有给定值的所有元素 |
[tag] | 选取所有具有指定元素的直接子节点 |
[tag='text'] | 选取所有具有指定元素并且文本内容是text节点 |
1、读取文本解析节点
# -*- coding: utf-8 -*-
from lxml import etree
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0"><a href="link5.html">a属性</a>
</ul>
</div>
'''
html=etree.HTML(text) #初始化生成一个XPath解析对象
result=etree.tostring(html,encoding='utf-8') #解析对象输出代码
print(type(html))
print(type(result))
print(result.decode('utf-8'))
#etree会修复HTML文本节点
# <class 'lxml.etree._Element'>
# # <class 'bytes'>
# # <html><body><div>
# # <ul>
# # <li class="item-0"><a href="link1.html">第一个</a></li>
# # <li class="item-1"><a href="link2.html">second item</a></li>
# # <li class="item-0"><a href="link5.html">a属性</a>
# # </li></ul>
# # </div>
# # </body></html>
2、读取HTML文件进行解析
test.html文件
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<html>
<body>
<div>
<ul>
<li class="item-0">
<a href="link1.html">first item</a>
</li>
<li class="item-1">
<a href="link2.html">second item</a></li>
<li class="item-inactive">
<a href="link3.html">third item</a>
</li>
<li class="item-1">
<a href="link4.html">fourth item</a>
</li>
<li class="item-0">
<a href="link5.html">fifth item</a>
</li></ul> \n </div>
</body>
</html>
from lxml import etree
# 指定解析器HTMLParser会根据文件修复HTML文件中缺失的如声明信息
html=etree.parse(r'E:\PythonProjects\python_study\python_requests\test.html',
etree.HTMLParser())
result=etree.tostring(html) #解析成字节
# result=etree.tostringlist(html) #解析成列表
print(type(html))
print(type(result))
print(result)
3、获取所有节点
返回一个列表每个元素都是Element类型,所有节点都包含在其中
from lxml import etree
# 指定解析器HTMLParser会根据文件修复HTML文件中缺失的如声明信息
html=etree.parse(r'E:\PythonProjects\python_study\python_requests\test.html',
etree.HTMLParser())
result=html.xpath('//*') #//代表获取子孙节点,*代表获取所有
print(type(html))
print(type(result))
print(result)
如要获取li节点,可以使用//后面加上节点名称,然后调用xpath()方法
html.xpath('//li') #获取所有子孙节点的li节点
4、获取子节点
通过/或者//即可查找元素的子节点或者子孙节点,如果想选择li节点的所有直接a节点,可以这样使用
from lxml import etree
# 指定解析器HTMLParser会根据文件修复HTML文件中缺失的如声明信息
html=etree.parse(r'E:\PythonProjects\python_study\python_requests\test.html',
etree.HTMLParser())
# 通过追加/a选择所有li节点的所有直接a节点,
# 因为//li用于选中所有li节点,/a用于选中li节点的所有直接子节点a
result=html.xpath('//li/a')
print(type(html))
print(type(result))
print(result)
5、获取父节点
我们知道通过连续的/或者//可以查找子节点或子孙节点,那么要查找父节点可以使用..来实现也可以使用parent::来获取父节点
from lxml import etree
from lxml.etree import HTMLParser
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//a[@href="link2.html"]/../@class')
result1=html.xpath('//a[@href="link2.html"]/parent::*/@class')
print(result)
print(result1)
6、属性匹配
在选取的时候,我们还可以用@
符号进行属性过滤。比如,这里如果要选取class
为item-1
的li
节点,可以这样实现:
from lxml import etree
from lxml.etree import HTMLParser
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]')
print(result)
7、文本获取
我们用XPath中的text()方法获取节点中的文本
from lxml import etree
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li[@class="item-1"]/a/text()') #获取a节点下的内容
result1=html.xpath('//li[@class="item-1"]//text()') #获取li下所有子孙节点的内容
print(result)
print(result1)
8、属性获取
使用@符号即可获取节点的属性,如下:获取所有li节点下所有a节点的href属性
text='''
<div>
<ul>
<li class="item-0"><a href="link1.html">第一个</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text,etree.HTMLParser())
result=html.xpath('//li/a/@href') #获取a的href属性
result1=html.xpath('//li//@href') #获取所有li子孙节点的href属性
print(result)
print(result1)
9、属性多值匹配
如果某个属性的值有多个时,我们可以使用contains()函数来获取
from lxml import etree
text1='''
<div>
<ul>
<li class="aaa item-0"><a href="link1.html">第一个</a></li>
<li class="bbb item-1"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa")]/a/text()')
print(result)
print(result1)
#通过第一种方法没有取到值,通过contains()就能精确匹配到节点了
[]
['第一个']
10、多属性匹配
另外我们还可能遇到一种情况,那就是根据多个属性确定一个节点,这时就需要同时匹配多个属性,此时可用运用and运算符来连接使用:
from lxml import etree
text1='''
<div>
<ul>
<li class="aaa" name="item"><a href="link1.html">第一个</a></li>
<li class="aaa" name="fore"><a href="link2.html">second item</a></li>
</ul>
</div>
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[@class="aaa" and @name="fore"]/a/text()')
result1=html.xpath('//li[contains(@class,"aaa") and @name="fore"]/a/text()')
print(result)
print(result1)
11、XPath中的运算符
运算符 | 描述 | 实例 | 返回值 |
or | 或 | age=19 or age=20 | 如果age等于19或者等于20则返回true反正返回false |
and | 与 | age>19 and age<21 | 如果age等于20则返回true,否则返回false |
mod | 取余 | 5 mod 2 | 1 |
| | 取两个节点的集合 | //book | //cd | 返回所有拥有book和cd元素的节点集合 |
+ | 加 | 6+4 | 10 |
- | 减 | 6-4 | 2 |
* | 乘 | 6*4 | 24 |
div | 除法 | 8 div 4 | 2 |
= | 等于 | age=19 | true |
!= | 不等于 | age!=19 | true |
< | 小于 | age<19 | true |
<= | 小于或等于 | age<=19 | true |
> | 大于 | age>19 | true |
>= | 大于或等于 | age>=19 | true |
12、按序选择
有时候,我们在选择的时候某些属性可能同时匹配多个节点,但我们只想要其中的某个节点,如第二个节点或者最后一个节点,这时可以利用中括号引入索引的方法获取特定次序的节点:
from lxml import etree
text1='''
<div>
<ul>
<li class="aaa" name="item"><a href="link1.html">第一个</a></li>
<li class="aaa" name="item"><a href="link1.html">第二个</a></li>
<li class="aaa" name="item"><a href="link1.html">第三个</a></li>
<li class="aaa" name="item"><a href="link1.html">第四个</a></li>
</ul>
</div>
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[contains(@class,"aaa")]/a/text()') #获取所有li节点下a节点的内容
result1=html.xpath('//li[1][contains(@class,"aaa")]/a/text()') #获取第一个
result2=html.xpath('//li[last()][contains(@class,"aaa")]/a/text()') #获取最后一个
result3=html.xpath('//li[position()>2 and position()<4][contains(@class,"aaa")]/a/text()') #获取第一个
result4=html.xpath('//li[last()-2][contains(@class,"aaa")]/a/text()') #获取倒数第三个
print(result)
print(result1)
print(result2)
print(result3)
print(result4)
这里使用了last()、position()函数,在XPath中,提供了100多个函数,包括存取、数值、字符串、逻辑、节点、序列等处理功能,它们的具体作用可参考:http://www.w3school.com.cn/xpath/xpath_functions.asp
13、节点轴选择
XPath提供了很多节点选择方法,包括获取子元素、兄弟元素、父元素、祖先元素等,示例如下:
from lxml import etree
text1='''
<div>
<ul>
<li class="aaa" name="item"><a href="link1.html">第一个</a></li>
<li class="aaa" name="item"><a href="link1.html">第二个</a></li>
<li class="aaa" name="item"><a href="link1.html">第三个</a></li>
<li class="aaa" name="item"><a href="link1.html">第四个</a></li>
</ul>
</div>
'''
html=etree.HTML(text1,etree.HTMLParser())
result=html.xpath('//li[1]/ancestor::*') #获取所有祖先节点
result1=html.xpath('//li[1]/ancestor::div') #获取div祖先节点
result2=html.xpath('//li[1]/attribute::*') #获取所有属性值
result3=html.xpath('//li[1]/child::*') #获取所有直接子节点
result4=html.xpath('//li[1]/descendant::a') #获取所有子孙节点的a节点
result5=html.xpath('//li[1]/following::*') #获取当前子节之后的所有节点
result6=html.xpath('//li[1]/following-sibling::*') #获取当前节点的所有同级节点
print(result)
print(result1)
print(result2)
print(result3)
print(result4)
二、案例应用:抓取TIOBE指数前20名排行开发语言
# -*- coding: utf-8 -*-
import requests
from requests.exceptions import RequestException
from lxml import etree
from lxml.etree import ParseError
import json
def one_to_page(html):
headers = { 'user-agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
'AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/67.0.3396.62 Safari/537.36'}
print("headers = ", headers)
try:
response = requests.get(html, headers = headers)
body = response.text #获取网页内容
except RequestException as e:
print("request is error!", e)
try:
# 解析HTML文本内容
html = etree.HTML(body, etree.HTMLParser())
# 获取列表数据
result=html.xpath('//table[contains(@class,"table-top20")]/tbody/tr//text()')
pos = 0
for i in range(20):
if i == 0:
yield result[i:5]
else:
yield result[pos:pos+5]
pos += 5
except ParseError as e :
print(e.position)
# 将数据重新组合成字典写入文件并输出
def write_file(data):
for i in data:
sul = {
'2018年6月排行': i[0],
'2017年6排行': i[1],
'开发语言': i[2],
'评级': i[3],
'变化率': i[4]
}
with open(r"E:\PythonProjects\python_study\python_requests\data.txt",
'a',encoding="utf-8") as f:
f.write(json.dumps(sul, ensure_ascii=False)+'\n')
f.close()
print(sul)
return None
def main():
url = 'https://www.tiobe.com/tiobe-index/'
data = one_to_page(url)
revalue = write_file(data)
if revalue == None:
print('ok!!!')
if __name__ == '__main__':
main()
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}
{'2018年6月排行': '1', '2017年6排行': '1', '开发语言': 'Java', '评级': '16.884%', '变化率': '-0.92%'}
{'2018年6月排行': '2', '2017年6排行': '2', '开发语言': 'C', '评级': '16.180%', '变化率': '+0.80%'}
{'2018年6月排行': '3', '2017年6排行': '4', '开发语言': 'Python', '评级': '9.089%', '变化率': '+1.93%'}
{'2018年6月排行': '4', '2017年6排行': '3', '开发语言': 'C++', '评级': '6.229%', '变化率': '-1.36%'}
{'2018年6月排行': '5', '2017年6排行': '6', '开发语言': 'C#', '评级': '3.860%', '变化率': '+0.37%'}
{'2018年6月排行': '6', '2017年6排行': '5', '开发语言': 'Visual Basic .NET', '评级': '3.745%', '变化率': '-2.14%'}
{'2018年6月排行': '7', '2017年6排行': '8', '开发语言': 'JavaScript', '评级': '2.076%', '变化率': '-0.20%'}
{'2018年6月排行': '8', '2017年6排行': '9', '开发语言': 'SQL', '评级': '1.935%', '变化率': '-0.10%'}
{'2018年6月排行': '9', '2017年6排行': '7', '开发语言': 'PHP', '评级': '1.909%', '变化率': '-0.89%'}
{'2018年6月排行': '10', '2017年6排行': '15', '开发语言': 'Objective-C', '评级': '1.501%', '变化率': '+0.30%'}
{'2018年6月排行': '11', '2017年6排行': '28', '开发语言': 'Groovy', '评级': '1.394%', '变化率': '+0.96%'}
{'2018年6月排行': '12', '2017年6排行': '10', '开发语言': 'Swift', '评级': '1.362%', '变化率': '-0.14%'}
{'2018年6月排行': '13', '2017年6排行': '18', '开发语言': 'Ruby', '评级': '1.318%', '变化率': '+0.21%'}
{'2018年6月排行': '14', '2017年6排行': '13', '开发语言': 'Assembly language', '评级': '1.307%', '变化率': '+0.06%'}
{'2018年6月排行': '15', '2017年6排行': '14', '开发语言': 'R', '评级': '1.261%', '变化率': '+0.05%'}
{'2018年6月排行': '16', '2017年6排行': '20', '开发语言': 'Visual Basic', '评级': '1.234%', '变化率': '+0.58%'}
{'2018年6月排行': '17', '2017年6排行': '12', '开发语言': 'Go', '评级': '1.100%', '变化率': '-0.15%'}
{'2018年6月排行': '18', '2017年6排行': '17', '开发语言': 'Delphi/Object Pascal', '评级': '1.046%', '变化率': '-0.11%'}
{'2018年6月排行': '19', '2017年6排行': '16', '开发语言': 'Perl', '评级': '1.023%', '变化率': '-0.14%'}
{'2018年6月排行': '20', '2017年6排行': '11', '开发语言': 'MATLAB', '评级': '0.924%', '变化率': '-0.39%'}
ok!!!