使用Python爬虫框架Scrapy爬取CVE Details中的CVSS

最新推荐文章于 2024-08-18 21:23:41 发布

蛐蛐蛐

最新推荐文章于 2024-08-18 21:23:41 发布

阅读量740

点赞数

分类专栏：科研工具 Python技巧

本文链接：https://blog.csdn.net/qysh123/article/details/108625914

版权

科研工具同时被 2 个专栏收录

131 篇文章 12 订阅

订阅专栏

Python技巧

95 篇文章 2 订阅

订阅专栏

这篇博客也就是简单记录两句。我之前写过两篇博文讨论Scrapy的使用：https://blog.csdn.net/qysh123/article/details/106655644，https://blog.csdn.net/qysh123/article/details/79802250。不过每次用的时候还都得参考会议一会。下面再总结一点：

以这个页面为例：https://www.cvedetails.com/cve/CVE-2017-15102/，如果我想提取其CVSS Score 6.9，应该怎么做呢，如果看页面源码可以看到：

<tr>
    <th>CVSS Score</th>
    <td><div class="cvssbox" style="background-color:#ffbc10">6.9</div></td>
</tr>

所以其实匹配起来很简单：

for each in response.xpath('//tr/td/div[@class="cvssbox"]/text()'):

具体大家结合我前面的博文就立刻清楚了。这里需要强调的一点是（以前也遇到过这个问题，但是没记录下来，导致每次都觉得莫名其妙）：由于我是在Windows上用Eclipse写Scrapy的代码，不知道是不是因为缩进之类的问题，如果def parse(self,response)这个function中有一行注释的话，运行scrapy就会报IndentationError: unexpected indent之类的错误，真的好莫名其妙，今天又忘了以前遇到过的这个问题，还想了一会怎么回事。

就简单记录这么多。