漏洞库：爬取CNNVD-国家信息安全漏洞库

最新推荐文章于 2024-07-17 22:17:42 发布
最新推荐文章于 2024-07-17 22:17:42 发布
阅读量3.3k 收藏 10
点赞数 2
分类专栏： 小试开发 文章标签： 定位 css html python js
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/M110K/article/details/112486241
版权

CNNVD相对CNVD的爬取更简单一点，当前并未遇到明显的爬虫限制机制

初步分析

首先，还是使用我钟爱的爬虫框架——pyspider，选取first page作为起始页http://www.cnnvd.org.cn/web/vulnerability/querylist.tag


CNNVD的页面只需要提交get请求即可递归访问到下一页
下面进入到漏洞详情页，抓取需要的信息

根据页面的HTML各个节点分析，使用css选择器就可以定位到漏洞信息 
cnnvd_level = response.doc('body > div.container.m_t_10 > div > div.fl.w770 > div.detail_xq.w770 > ul > li:nth-child(2) > a').text()
        
        cve_id = response.doc('body > div.container.m_t_10 > div > div.fl.w770 > div.detail_xq.w770 > ul > li:nth-child(3) > a').text()        
        vulnerable_type = response.doc('body > div.container.m_t_10 > div > div.fl.w770 > div.detail_xq.w770 > ul > li:nth-child(4) > a').text()
        upload_time = response.doc('body > div.container.m_t_10 > div > div.fl.w770 > div.detail_xq.w770 > ul > li:nth-child(5) > a').text()
        threat_type = response.doc('body > div.container.m_t_10 > div > div.fl.w770 > div.detail_xq.w770 > ul > li:nth-child(6) > a').text()

        update = response.doc('body > div.container.m_t_10 > div > div.fl.w770 > div.detail_xq.w770 > ul > li:nth-child(7) > a').text()
        vulnerable_detail = response.doc('body > div.container.m_t_10 > div > div.fl.w770 > div:nth-child(3)').text()
        
        vulnerable_notice = response.doc('body > div.container.m_t_10 > div > div.fl.w770 > div:nth-child(4)').text()
        
        reference_url = response.doc('body > div.container.m_t_10 > div > div.fl.w770 > div:nth-child(5)').text()
        
        patch = response.doc('body > div.container.m_t_10 > div > div.fl.w770 > div:nth-child(9)').text()

爬取结果

代码分享

https://github.com/hi-KK

KEY0NE
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
爬虫练习--爬取CNNVD相关漏洞
qinlingheshang的博客
06-07 6394
目标 从国家信息安全漏洞库（CNNVD）中爬取目标软件的相关漏洞，统计漏洞类型、危害等级、相关数量等，并进行可视化。 具体流程 构造URL，根据关键词爬取相关软件的漏洞信息，统计其数量和网页数 构造URL，一个一个网页的爬取，找到每个具体漏洞的链接，保存这些链接 根据每个具体漏洞的链接，爬取相关页面，用正则表达式和BeautifulSoup找到我们需要的链接。 代码实现 结果可视化...
python3-爬取cnnvd漏洞库
weixin_43345082的博客
07-19 2828
这几天要爬cnnvd漏洞库 网上找了半天发现各种代码不是跑不了就不好用 于是本菜鸡自己写了一个 先上效果 我是按页爬的 一页目录10条漏洞 一次爬1000页一万条 一共大概128900条 表里面的内容 不是多线程（不会），至于速度，每一万条在半小时左右 我每次开`6个程序爬，大概一个小时爬完的，，， 源代码就贴在这里了（虽然想要积分） 然后爬好的xls在这里，不想花时间爬的可以直接下 python...
CVE爬虫抓取漏洞URL
dieman0446的博客
07-12 531
String url1="http://www.cnnvd.org.cn/vulnerability/index/vulcode2/tomcat/vulcode/tomcat/cnnvdid//fbsjs//fbsje/"; String url2="http://www.cnnvd.org.cn/vulnerability/index/vulcode2/weblogic/vulco...
网络安全人士必备的13个漏洞库
最新发布
QXXXD的博客
07-17 539
收集整理了一些知名漏洞库并分享出来
cnnvd爬取漏洞信息
黑面狐
03-14 4434
这段时间cnnvd的xml文件一直不更新，没办法只能自己去爬取。github上一搜索发现有挺多的类似的项目。scrapy框架编写的脚本 https://github.com/luweiwei1111/python_spider/tree/master/scrapy/cnnvd 说明： 1.本程序用于爬取cnnvd网址的数据，并将数据通过sqlite3数据库保存在cnnvd.db库文件里面， ...
cnnvd爬虫，仅供学习参考。
07-16
# -*- coding:utf-8 -*- import sys #print (u'系统默认编码为',sys.getdefaultencoding()) default_encoding = 'utf-8' #重新设置编码方式为uft-8 if sys.getdefaultencoding() != default_encoding: reload(sys) sys.setdefaultencoding(default_encoding) #print (u'系统默认编码为',sys.getdefaultencoding()) import requests from bs4 import BeautifulSoup import traceback import re import xlwt def getURLDATA(url): #url = 'http://www.cnnvd.org.cn/web/xxk/ldxqById.tag?CNNVD=CNNVD-201901-1014' header={ 'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36', 'Connection': 'keep-alive',} r=requests.get(url,headers=header,timeout=30) #r.raise_for_status()抛出异常 html = BeautifulSoup(r.content.decode(),'html.parser') link=html.find(class_='detail_xq w770')#漏洞信息详情 link_introduce=html.find(class_='d_ldjj')#漏洞简介 link_others=html.find_all(class_='d_ldjj m_t_20')#其他 #print(len(link_introduce)) try: #print ("危害等级:"+link.contents[3].contents[3].find('a').text.lstrip().rstrip())#危害等级 list4.append(str(link.contents[3].contents[3].find('a').text.lstrip().rstrip())) except: #print("危害等级:is empty") list4.append("") try: #print ("CVE编号:"+link.contents[3].contents[5].find('a').text.lstrip().rstrip())#CVE编号 list5.append(str(link.contents[3].contents[5].find('a').text.lstrip().rstrip())) except: #print("CVE编号:is empty") list5.append("") try: #print ("漏洞类型:"+link.contents[3].contents[7].find('a').text.lstrip().rstrip())#漏洞类型 list6.append(str(link.contents[3].contents[7].find('a').text.lstrip().rstrip())) except : #print("漏洞类型:is empty") list6.append("") try: #print ("发布时间:"+link.contents[3].contents[9].find('a').text.lstrip().rstrip())#发布时间 list7.append(str(link.contents[3].contents[9].find('a').text.lstrip().rstrip())) except : #print("发布时间:is empty") list7.append("") try: #print ("威胁类型:"+link.contents[3].contents[11].find('a').text.lstrip().rstrip())#威胁类型 list8.append(str(link.contents[3].contents[11].find('a').text.lstrip().rstrip())) except : #print("威胁类型:is empty") list8.append("") try: #print ("更新时间:"+link.contents[3].contents[13].find('a').text.lstrip().rstrip())#更新时间 list9.append(str(link.contents[3].contents[13].find('a').text.lstrip().rstrip())) except : #print("更新时间:is empty") list9.append("") try: #print ("厂商:"+link.contents[3].contents[15].find('a').text.lstrip().rstrip())#厂商 list10.append(str(link.contents[3].contents[15].find('a').text.lstrip().rstrip())) except: #print("厂商:is empty") list10.append("") #link_introduce=html.find(class_='d_ldjj')#漏洞简介 try: link_introduce_data=BeautifulSoup(link_introduce.decode(),'html.parser').find_all(name='p') s="" for i in range(0,len(link_introduce_data)): ##print (link_introduce_data[i].text.lstrip().rstrip()) s=s+str(link_introduce_data[i].text.lstrip().rstrip()) #print(s) list11.append(s) except : list11.append("") if(len(link_others)!=0): #link_others=html.find_all(class_='d_ldjj m_t_20') #print(len(link_others)) try: #漏洞公告 link_others_data1=BeautifulSoup(link_others[0].decode(),'html.parser').find_all(name='p') s="" for i in range(0,len(link_others_data1)): ##print (link_others_data1[i].text.lstrip().rstrip()) s=s+str(link_others_data1[i].text.lstrip().rstrip()) #print(s) list12.append(s) except: list12.append("") try: #参考网址 link_others_data2=BeautifulSoup(link_others[1].decode(),'html.parser').find_all(name='p') s="" for i in range(0,len(link_others_data2)): ##print (link_others_data2[i].text.lstrip().rstrip()) s=s+str(link_others_data2[i].text.lstrip().rstrip()) #print(s) list13.append(s) except: list13.append("") try: #受影响实体 link_others_data3=BeautifulSoup(link_others[2].decode(),'html.parser').find_all('a',attrs={'class':'a_title2'}) s="" for i in range(0,len(link_others_data3)): ##print (link_others_data3[i].text.lstrip().rstrip()) s=s+str(link_others_data3[i].text.lstrip().rstrip()) #print(s) list14.append(s) except: list14.append("") try: #补丁 link_others_data3=BeautifulSoup(link_others[3].decode(),'html.parser').find_all('a',attrs={'class':'a_title2'}) s="" for i in range(0,len(link_others_data3)): ##print (link_others_data3[i].t
CNVD国家区块链漏洞库漏洞通报
blockchain12的博客
12-31 398
python爬取cnnvd漏洞脚本
05-24
python爬取cnnvd漏洞脚本,注释详尽
CNNVD 软件安全漏洞数据集.zip
04-16
中国国家信息安全漏洞数据库（CNNVD）是国家权威的安全漏洞信息库，自1999年以来，它积累了丰富的软件安全漏洞数据，直至2018年，这些数据已成为研究网络安全的重要资源。CNNVD的数据集包含了从早期到现代的大量漏洞...
cnnvd漏洞信息库-截止到202208（1999-2022.8）
08-23
cnnvd漏洞信息库-截止到202208（1999-2022.8） 包含最全的cnnvd漏洞信息库 后续会不定期的更新，不需要再爬虫 适合搞网络安全研究，漏洞威胁分析的 适合资产管理平台和漏洞管理平台建立自己的漏洞知识库
python爬取漏洞库.zip
12-23
本项目"python爬取漏洞库.zip"就是这样一个实例，它展示了如何利用Python3爬取CNVD（中国国家信息安全漏洞库）、CNNVD（中国国家计算机网络应急技术处理协调中心漏洞库）以及CVE（通用漏洞和暴露）等权威漏洞数据库...
CNVD-C-2019-48814-CNNVD-201904-961:CVE-2019-2725poc汇总更新绕过过CVE-2017-10271补丁POC
03-16
CNVD-C-2019-48814和CNNVD-201904-961 感谢t00ls-ximcx0101提供脚本CNVD-C-2019-48814 POC摘要相关链接如下：清水川崎大佬的简书： : 安全祖师爷转发： ://dwz.cn/2GQvbUae由于环境的一些因素路径会存在变化：默认...
爬虫CNVD构建漏洞库
weixin_40502018的博客
01-18 5972
爬虫CNVD构建漏洞库 import requests from lxml import etree import xlsxwriter from requests.utils import add_dict_to_cookiejar import execjs import hashlib import json import re import time import datetime def get__jsl_clearance_s(data): """ 通过加密对比得到正确coo
CNVD-2021-14544 漏洞复现
尐猴子君ii的博客
03-28 4437
大四的生活忙忙碌碌,在绿盟实习和忙毕设,让我划水A了半年,今天写一下最近申请零组文库邀请码,提交的复现文章叭. 贵有恒何必三更眠五更起,最无益只怕一日曝十日寒 话不多说，快上车。 海康威视流媒体管理服务器任意文件读取(CNVD-2021-14544) 1.漏洞说明 海康威视是以视频为核心的智能物联网解决方案和大数据服务提供商。 杭州海康威视系统技术有限公司流媒体管理服务器存在弱口令漏洞和任意文件读取漏洞，攻击者可利用该漏洞获取敏感信息。 2.影响版本 杭州海康威视数字技术股份有限公司 流媒体管理服务器 V2
php strus2 漏洞攻击_【安全提示】CNVD发布上周关注度较高的产品安全漏洞(20200810-20200816)...
weixin_36139240的博客
12-06 250
境外厂商产品漏洞1、Microsoft Excel缓冲区溢出漏洞(CNVD-2020-45184)Microsoft Excel是美国微软(Microsoft)公司的一款Office套件中的电子表格处理软件。Microsoft Excel(365 Apps for Enterprise)中存在缓冲区溢出漏洞，该漏洞源于程序没有正确处理内存对象。攻击者可利用该漏洞在当前用户的上下文中运行任意代码。参...
CNVD-2022-10270漏洞复现
weixin_42618425的博客
02-18 3501
CNVD-2022-10270漏洞复现
python爬取cnnvd，粘贴可用
weixin_44331151的博客
10-10 739
简单易懂，粘贴可用
cve 爬虫_爬虫CNVD构建漏洞库
weixin_29089057的博客
02-06 828
import requestsfrom lxml import etreeimport xlsxwriterfrom requests.utils import add_dict_to_cookiejarimport execjsimport hashlibimport jsonimport reimport timeimport datetimedef get__jsl_clearance_s(...
CNVD正式上线区块链漏洞子库 推进区块链安全生态建设
slivegogo的博客
06-24 311
近日，国家信息安全漏洞共享平台（CNVD）正式上线区块链漏洞子库CNVD-BC。 　　该子库由国家互联网应急中心运营，当前已收录区块链相关漏洞247个，其中高危漏洞60个，中危漏洞173个，低危漏洞14个。 　　根据CNVD数据统计可知，区块链漏洞子库（CNVD-BC）收录了公链、联盟链、外围系统相关漏洞，漏洞类型主要包括：数字错误、代码逻辑缺陷、数字溢出、拒绝服务、输入验证错误、授权问题、信息泄露。 　　该平台显示，目前99.59%漏洞与公链相关，外围系统的漏洞数量占比为0.41%，中危漏洞占比70.04
如何爬取CNNVD漏洞库
05-17
爬取CNNVD漏洞库可以分为以下几个步骤： 1. 分析网页结构：首先需要分析CNNVD漏洞库的网页结构，找到漏洞相关信息所在的标签或CSS选择器。 2. 发送请求：使用Python中的requests库发送请求获取网页内容。 3. 解析...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值