cve_details按照时间爬取(pyspider)

最新推荐文章于 2024-08-18 21:23:41 发布

不愿透露姓名的菜鸟

最新推荐文章于 2024-08-18 21:23:41 发布

阅读量1k

点赞数 2

分类专栏：爬虫开发学习

本文链接：https://blog.csdn.net/Homewm/article/details/77159357

版权

这是一个使用pyspider框架按照时间从cvedetails.com爬取CVE漏洞详情的Python脚本。脚本从1999年到2017年逐年遍历，抓取每个页面上的CVE链接，并进一步提取详细页面中的产品、版本、产品类型和供应商等信息。

摘要由CSDN通过智能技术生成

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2017-08-11 10:19:23
#Created by zhangguodong
# Project: CVE_Details

from pyspider.libs.base_handler import *
import re
from collections import defaultdict

#url = "www.cvedetails.com/cve/CVE-2007-6593/"
#pattern = "<table class=\"listtable\" .*?>.*?<tr.*?>.*?</tr>.*?(<tr.*?>.*?</tr>)+</table>"

class Handler(BaseHandler):
    crawl_config = {
    }

    def __init__(self):
        self.base_url = 'http://www.cvedetails.com/vulnerability-list/year-'
        self.start_year = 1999
        self.last_year = 2017

    @every(minutes=24 * 60)
    def on_start(self):
        while self.start_year<=self.last_year