lxml实现(从文件中读取html的部分省略)
>>> from lxml import etree
>>> html = etree.HTML(html)
2.内容的解析
要使用lxml,需要首先学习Xpath的语法
在为w3cschool中找到的资料如下
XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。
我的理解是,xpath将html或者xml文档当做一个文件来对待,每个节点代表不同的路径
"/"表示文档根节点(即文档本身)而/html表示最外层的文档节点
如果要定位一个标签,与定位一个文件类似,可以使用相对路径或者绝对路径
绝对路径即给出从/html的外层标签到我们需要定位的标签所经过的所有路径(与文件绝对路径一样的)
比如我们要找一个文档中的所有a标签,用绝对路径定位就是
u"/html/body/a"
例如:
>>> hrefs = html.xpath(u"/html/body/link")
>>> hrefs
[<Element link at 0x3f451c0>, <Element link at 0x4c2bf08>, <Element link at 0x4c2be68>, <Element link at 0x4c2bee0>, <Element link at 0x4c2beb8>, <Element link at 0x4c2be90>, <Element link at 0x4c2bd50>]
可以看出,使用绝对路径,找到的是body下的所有link,但是不会找子节点的子节点
相对路径
u//a
>>> hrefs = html.xpath(u"//a")
>>> hrefs
[<Element a at 0x4c39648>, <Element a at 0x4c2bb20>, <Element a at 0x4c2beb8>, <Element a at 0x4c2be90>, <Element a at 0x4c2bee0>, <Element a at 0x4c2bf08>, <Element a at 0x4c2be68>, <Element a at 0x4c2bf80>, <Element a at 0x4c2bf30>, <Element a at 0x4c2bfa8>, <Element a at 0x4c2bfd0>, <Element a at 0x4c32030>, <Element a at 0x4c32058>, <Element a at 0x4c32080>, <Element a at 0x4c320a8>, <Element a at 0x4c320d0>, <Element a at 0x4c320f8>, <Element a at 0x4c32120>, <Element a at 0x4c32148>, <Element a at 0x4c32170>, <Element a at 0x4c32198>, <Element a at 0x4c321c0>, <Element a at 0x4c321e8>, <Element a at 0x4c32210>, <Element a at 0x4c32238>, <Element a at 0x4c32260>, <Element a at 0x4c32288>, <Element a at 0x4c322b0>, <Element a at 0x4c322d8>, <Element a at 0x4c32300>, <Element a at 0x4c32350>, <Element a at 0x4c32378>, <Element a at 0x4c323a0>, <Element a at 0x4c323c8>, <Element a at 0x4c323f0>, <Element a at 0x4c32418>, <Element a at 0x4c32440>, <Element a at 0x4c32468>, <Element a at 0x4c32490>, <Element a at 0x4c324b8>, <Element a at 0x4c324e0>, <Element a at 0x4c32508>, <Element a at 0x4c32530>, <Element a at 0x4c32558>, <Element a at 0x4c32580>, <Element a at 0x4c325a8>, <Element a at 0x4c325d0>, <Element a at 0x4c325f8>, <Element a at 0x4c32620>, <Element a at 0x4c32648>, <Element a at 0x4c32670>, <Element a at 0x4c32698>, <Element a at 0x4c326c0>, <Element a at 0x4c326e8>, <Element a at 0x4c32710>, <Element a at 0x4c32738>, <Element a at 0x4c32760>, <Element a at 0x4c32788>
可以看到,相对路径找的是所有的a节点
如何定位我们需要的唯一元素呢?
与beautifulsoup类似,用标签的属性来定义,不过xpath有他特有的语法
利用classname来定位元素
使用beautifulsoup:href = bs.find_all(“a”,class_=“classname”)
使用lxml:href = html.xpath(u"//a[@class=‘classname’]")
可以看出xpath定位特定的标签语法是u"路径(相对路径或者绝对路径[@属性=‘属性名’])"
如果没有属性呢?
可以使用标签之间的文字来定位(bs中标签的text属性)
u"路径(相对路径或者绝对路径[@text=‘content’])"