Day14 plus+ 爬虫数据解析
数据提取
1.Xpath:(截取自w3school)
在XML与HTML文档中查找信息的语言,可以用来在XML与HTML文档中对元素和属性进行遍历。
在 XPath 中,有七种类型的节点:元素、属性、文本、命名空间、处理指令、注释以及文档节点(或称为根节点)。
相当于搜索关键字查找信息,功能类似正则表达式。
语法
XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。
谓语
谓语用来查找某个特定的节点或者包含某个指定的值的节点,被嵌在方括号中。
Xpath中语法的详细解释:
Xpath详解地址
2.lxml库
是一个HTML/XML的解析器,主要功能是如何解析和提取HTML/XML数据。
----解析HTML字符串时:需要使用’lxml.etree.HTML’进行解析。
from lxml import etree
text=""" #这里是任意网页代码"""
def parse_text():
html_element