前言:大多数xpath的教程会提到如何选择包含某个属性的节点,但是如果要选择不具有某个或者某些个属性的节点我们该如何做呢?
我们知道选择包含某一特定属性的节点,可以使用例如//td/a[@title]来选择。可是我想要得到不具有title属性的借点呢? 今天在编程中遇到了这个问题,解决方法是用 not,即:
//td/a[not(@title)]
这里我们用scrapy shell 尝试一下:
这个链接是顶点小说网站,总排行榜的第一页,我想的到排行榜上小说的链接。
http://www.23us.so/top/allvisit_1.html
但是我们看到小说的链接地址和小说最新章节的链接地址在td这个节点的结构上不太好区分,这里我们用//td/a[not(@title)]试试,希望只得到小说主页的链接地址。
使用scrapy shell 命令分析目标网页:
用xpath命令获取小说主页链接:
我们看到成功了!只得到了小说主页的链接,筛除了在结构上相似的小说最新章节的链接。