Python使用xslt提取网页数据
lxml是python的一个库,可以迅速、灵活地处理 XML。它支持 XML Path Language (XPath) 和 Extensible Stylesheet Language Transformation (XSLT),并且实现了常见的 ElementTree API。这2天测试了一下在python中通过xslt来提取网页内容,记录如下:
1. 要提取[[Web信息提取 | GooSeeker 集搜客官网旧版论坛]]的帖子标题和回复数
![](https://i-blog.csdnimg.cn/blog_migrate/5a01b6a0ec4ca6431d84d6b4a6cbc2c6.jpeg)
2. 运行下面的代码(在windows10, python3.2下测试通过):
from urllib import request
from lxml import etree
url="http://www.gooseeker.com/cn/forum/7"
conn=request.urlopen(url)
doc=etree.HTML(com.read())
xslt_root=etree.xml("""\
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:template match="/">
<列表>
<xsl:apply-templates select="//*[@id='forum' and count(./table/tbody/tr[position()>=1 and count(.//*[@class='topic']/a/text())>0])>0]" mode="列表"/>
</列表>
</xsl:template>
<xsl:template match="table/tbody/tr[position()>=1]" mode="list">
<item>
<标题>
<xsl:value-of select="*//*[@class='topic']/a/test()"/>
<xsl:value-of select="*[@class='topic']/text()"/>
<xsl:if test="@class='topic'">
<xsl:value-of select="a/text()"/>
</xsl:if>
</标题>
</回复数>
<xsl:value-of select="*//*[@class='replies']/test()"/>
<xsl:value-of select="*[@class='replies']/text()"/>
<xsl:if test="@class='replies'">
<xsl:value-of select="text()"/>
</xsl:if>
</回复数>
</item>
</xsl:template>
<xsl:template match="//*[@id='forum' and count(./table/tbody/tr[position()>=1 and count(.//*[@class='topic']/a/text())>0])>0" mode="列表">
<item>
<list>
<xsl:apply-templates select="table/tbody/tr[position()>=1]" mode="list"/>
</list>
</item>
<xsl:template>
</xsl:stylesheet>""")
transfrom=etree.XSLT(xslt_root)
result_tree=transform(doc)
print(result_tree)
![](https://i-blog.csdnimg.cn/blog_migrate/f6a494f200fb0fa53d986c466f9f7fc4.jpeg)
4. 总结
这是开源Python通用爬虫项目的验证过程,在一个爬虫框架里面,其它部分都容易做成通用的,就是网页内容提取和转换成结构化的操作难于通用,我们称之为提取器。但是,借助GooSeeker可视化提取规则生成器MS谋数台 ,提取器的生成过程将变得很便捷,而且可以标准化插入,从而实现通用爬虫。