网络安全模型研究资源汇总(非常详细)零基础入门到精通,收藏这一篇就够了

338 篇文章 32 订阅
170 篇文章 5 订阅

**安全大模型:**具有大规模数据处理与学习能力的高级人工智能系统,这些系统专门针对网络安全的各个方面进行模型训练和解决方案提供。它们能够处理复杂的网络安全威胁,进行实时监控与响应,并预测潜在的安全风险。

最近各大网络安全厂商相继推出了自己的网络安全大模型,是比较流行也是比较火热的一个赛道。以下是整理的网络安全模型研究资料。

1

网络安全模型研究资料

以下是关于使用NLP、KG、 GPT 进行网络安全模型研究的精选资源列表,包含模型/项目、论文、数据以及相关产品。

简介

这是一个精心整理的网络安全模型资源汇总,旨在为研究人员、工程师及安全爱好者提供一个全面的参考集合。本项目覆盖了模型/项目、学术论文、数据集以及相关产品信息,帮助你深入了解和应用网络安全领域的最新进展。

资源列表

项目

名称简介链接
SecureBERT: CyberSecurity Language Model专门为网络安全任务量身定制的专用语言模型。该存储库记录了 SecureBERT 在使用操作码序列对恶意软件样本进行分类方面的研究、开发和实施。SecureBert_Malware-Classification (https://github.com/kaushik-42/SecureBert_Malware-Classification)
SecureBERT-NER该模型用于从安全咨询文本中提取命名实体。专门针对网络安全文本进行训练的命名实体识别 (NER) 模型。它可以识别身份、安全团队、工具、时间、攻击等各种实体。cybersecurity-ner (https://github.com/PriyankaMohan94/cybersecurity-ner)
ceg-afpm用于使用LLM句子分类进行安全漏洞误报识别ceg-afpm (https://github.com/arigig/ceg-afpm)
CVE2TTP一种从网络安全文本资源中评估、注释和提取威胁信息的自动化方法,以在 SecureBERT 之上开发模型,将 CVE 分类为 TTP。CVE2TTP (https://github.com/ehsanaghaei/CVE2TTP)
SecureBERT一种用于表示网络安全文本数据的特定领域语言模型。SecureBERT (https://github.com/ehsanaghaei/SecureBERT)
SecureBERT-plus (https://github.com/ehsanaghaei/SecureBERT-plus)
SecureDeBERTa (https://github.com/ehsanaghaei/SecureDeBERTa)
SecureGPT (https://github.com/ehsanaghaei/SecureGPT)
Finetuning_SecurityLLM基于BERT微调的网络威胁检测系统Finetuning_SecurityLLM (https://github.com/GeorgeNhj/Finetuning_SecurityLLM)
ART用于机器学习安全的 Python 库。ART 提供的工具使开发人员和研究人员能够评估、防御、认证和验证机器学习模型和应用程序,以抵御规避、中毒、提取和推理等对抗性威胁。Adversarial Robustness Toolbox : document (https://adversarial-robustness-toolbox.readthedocs.io/en/latest/)
Adversarial Robustness Toolbox (ART) v1.17 (https://github.com/Trusted-AI/adversarial-robustness-toolbox)
flipkart_project使用大型语言模型进行自动合规性监控(LLMs)”项目,利用 BERT 和 RoBERTa 等尖端LLMs技术的力量,彻底改变合规性监控和实施flipkart_project (https://github.com/Gauriiikaaa/flipkart_project)
PentestGPT支持 GPT 的渗透测试工具PentestGPT (https://github.com/GreyDGL/PentestGPT)
WhiteRabbitNeo一个可用于进攻和防御网络安全的模型系列【包含7B、13B、33B】WhiteRabbitNeo (https://huggingface.co/WhiteRabbitNeo)
Whiterabbitneo-Pentestgpt将专门针对网络安全的开源模型whiterabbitneo和GPT 4的提示技术PentestGPT结合起来,让GPT 4进入hack the box用户的前1%,打造一个完全开放的渗透测试的源解决方案。Whiterabbitneo-Pentestgpt (https://github.com/isamu-isozaki/whiterabbitneo-pentestgpt)
LATTE结合LLM和程序分析的二进制污点分析引擎。结合LLMs来实现自动化的二进制污点分析。这克服了传统污点分析需要手动定制污点传播规则和漏洞检查规则的局限性LATTE (https://github.com/puzhuoliu/LATTE)
AVScan2Vec一种序列到序列自动编码器,可以将恶意文件的防病毒结果嵌入到向量中。然后,这些向量可用于下游 ML 任务,例如分类、聚类和最近邻查找。【将防病毒扫描报告转换为向量表示,有效处理大规模恶意软件数据集,并在恶意软件分类、聚类和最近邻搜索等任务中表现良好】AVScan2Vec (https://github.com/boozallen/AVScan2Vec)
PassGPT一个针对密码泄露从头开始训练的 GPT-2 模型。利用 LLMs 的密码生成模型,引入了引导式密码生成,其中 PassGPT 的采样过程生成符合用户定义约束的密码。这种方法通过生成更多以前未见过的密码,优于利用生成对抗网络(GAN)的现有方法,从而证明了LLMs在改进现有密码强度估计器方面的有效性PassGPT (https://github.com/javirandor/passgpt)
pwned-by-passgpt使用 Have I Been Pwned (HIBP) 数据集进行密码破解研究,以评估 PassGPT 大型语言模型 (LLM) 的有效性。pwned-by-passgpt (https://github.com/sean-t-smith/pwned-by-passgpt)
LLM Security 101深入LLM安全领域:进攻和防御工具的探索,揭示它们目前的能力。LLM Security 101 (https://github.com/Seezo-io/llm-security-101)
SecurityGPT使用大型语言模型 (LLMs) 增强软件源代码中的安全错误报告 (SBR) 的分类。我们开发并微调了 LLMs 来解决识别代码中安全漏洞的关键任务。SecurityGPT (https://github.com/Alexyskoutnev/SecurityGPT)
ChatCVE帮助组织分类和聚合 CVE(常见漏洞和暴露)信息。通过利用最先进的自然语言处理,ChatCVE 使每个人都可以访问详细的软件物料清单 (SBOM) 数据ChatCVE (https://github.com/jasona7/ChatCVE)
SecGPTSecGPT的目标是结合LLM,对网络安全进行更多贡献,包括渗透测试、红蓝对抗、CTF比赛和其他方面。汇总现有的插件功能,并通过AI进行决策。基于这些决策,它构建基础行为逻辑。然后,根据此逻辑,它调用本地插件功能,尝试完成网站渗透、漏洞扫描、代码审计和报告撰写等任务SecGPT (https://github.com/ZacharyZcR/SecGPT)
SecGPT-云起无垠网络安全大模型。探索各种网络安全任务,漏洞分析、溯源分析、流量分析、攻击研判、命令解释、网安知识问答、高质量网络安全训练集、DPO强化学习secgpt (https://github.com/Clouditera/secgpt)
AutoMSSAutoMSS 是基于AI Agent实现的针对安全事件自动化分析研判的系统,依托于 langchain (https://github.com/langchain-ai/langchain) 框架。首先,从开始部分输入安全事件记录, 由经过微调后的Chatglm2-6B的微调模型对该事件进行分类。然后,根据分类后的结果,使用对应的prompt模板对ChatGLM-pro大模型进行请求,大模型根据向量库中的知识以及自身的逻辑推理能力,生成该类事件的分析研判流程。接着,Agent 根据事件的分析研判流程通过调用工具、访问大模型、请求网络等方式来对该事件进行研判。最后,根据分析的结果输出研判结论以及形成对应的研判报告。AutoMSS (https://github.com/1700111005/autoMSS)
HackMentor网络安全领域微调开源大语言模型,得到行业大模型HackMentor,研究工作主要分为三个部分:网络安全行业微调数据的构建、大语言模型的微调和对LLMs网络安全能力的评估。HackMentor (https://github.com/tmylla/HackMentor)
中科院信工所: HackMentor-面向网络安全领域的大语言模型微调 (https://mp.weixin.qq.com/s/EnGdEm0p6cXrdk42yrB90w)
HackerGPT用于网络应用程序黑客攻击的值得信赖的道德黑客LLM,针对网络和网络黑客攻击,使用的开源黑客工具进行黑客攻击。HackerGPT (https://github.com/Hacker-GPT/HackerGPT-2.0)
AutoAuditAutoAudit作为专门针对网络安全领域的大语言模型,其目标是为安全审计和网络防御提供强大的自然语言处理能力。它具备分析恶意代码、检测网络攻击、预测安全漏洞等功能,为安全专业人员提供有力的支持。AutoAudit (https://github.com/ddzipp/AutoAudit)
Agentic LLM开源 Agentic LLM 漏洞扫描程序Agentic LLM (https://github.com/msoedov/agentic_security)
GarakLLM 漏洞扫描器Garak (https://github.com/leondz/garak)
SourceGPT构建在 ChatGPT 之上的源代码分析器和提示管理器(可做代码扫描)SourceGPT (https://github.com/NightmareLab/SourceGPT)
ChatGPTScan由 ChatGPT 提供支持的代码扫描ChatGPTScan (https://github.com/YulinSec/ChatGPTScanner)
ChatGPT Code Analyzer利用ChatGPT 进行的代码分析器chatgpt-code-analyzer (https://github.com/MilindPurswani/chatgpt-code-analyzer)
GPTLens基于LLM的智能合约漏洞检测GPTLens (https://github.com/AvijeetRanawat/GPTLens)
Audit GPT微调 GPT 以进行智能合约审计Audit GPT (https://github.com/fuzzland/audit_gpt)
VulChatGPT使用 IDA PRO HexRays 反编译器和 OpenAI(ChatGPT) 来查找二进制文件中可能存在的漏洞VulChatGPT (https://github.com/ke0z/vulchatgpt)
Callisto智能自动化二进制漏洞分析工具。其目的是自动反编译提供的二进制文件并迭代伪代码输出,查找该伪 C 代码中潜在的安全漏洞。Ghidra 的无头反编译器驱动二进制反编译和分析部分。伪代码分析最初由 Semgrep SAST 工具执行,然后传输到 GPT-3.5-Turbo 以验证 Semgrep 的发现以及潜在的其他漏洞识别Callisto (https://github.com/JetP1ane/Callisto)
Ret2GPT利用 OpenAI API 的能力,RET2GPT 可以为二进制文件提供全面而详细的分析,使其成为 CTF Pwners 不可或缺的工具。Ret2GPT (https://github.com/DDizzzy79/Ret2GPT)
BurpGPTburpgpt利用 AI 的强大功能来检测传统扫描程序可能遗漏的安全漏洞。它将网络流量发送到用户指定的 OpenAI model ,从而在被动扫描器中实现复杂的分析。自动生成有效的有效负载、检测潜在的安全漏洞、自动化报告生成、模糊测试支持BurpGPT (https://github.com/aress31/burpgpt)
nmap-GPT使用 Nmap 扫描设备,然后利用 OpenAI API 深入了解应为每个开放端口制定的特定安全注意事项。nmap-GPT (https://github.com/ethanolivertroy/nmap-GPT)
GPTreport使用openai api自动生成makedown漏洞报告GPTreport (https://github.com/shiyeshu/GPTreport)
GPT_Vuln-analyzer利用openai验证扫描结果、生成漏洞分析的准确结果,使用python-nmap扫描目标ip,将获取到的信息提交openai获取分析结果。该项目还具有一个CLI和一个GUI界面,它能够进行网络漏洞分析、DNS枚举和子域枚举。GPT_Vuln-analyzer (https://github.com/morpheuslord/GPT_Vuln-analyzer)
LLM-CodeSecurityReviewer使用 Ollama(LLM) 检查代码是否存在潜在的不良行为LLM-CodeSecurityReviewer (https://github.com/t41372/LLM-CodeSecurityReviewer)
Nuclei_GPT通过Embedding向量Nuclei的模板文档的项目,运行prompt查询工具可以直接对接GPT-3.5编写Nuclei的Yaml文件,安全人员只需要提交相关的Request和Response以及漏洞的描述,就能生成Nuclei的Pocnuclei_gpt (https://github.com/sf197/nuclei_gpt)
Nuclei AI(浏览器扩展)简化了漏洞模板的创建,使用户能够从任何网页中提取漏洞信息,快速高效地创建 Nuclei 模板,从而节省宝贵的时间和精力Nuclei AI - Browser Extension (https://github.com/projectdiscovery/nuclei-ai-extension)
falco-gptOpenAI 支持的工具,用于为 Falco 审核事件生成补救措施。它是一个简单的 HTTP 服务器,用于侦听 Falco 审核事件并将它们推送到内部 NATS 服务器,其作用类似于队列。然后,该队列由一个 goroutine 进行处理,该 goroutine 通过应用速率限制和重试将审核事件发送到 OpenAI API。然后,生成的修复操作通过线程中的 BOT 发送到 Slackfalco-gpt (https://github.com/Dentrax/falco-gpt)
WPeChatGPT帮助分析二进制文件的IDA插件,基于ChatGPTWPeChatGPT (https://github.com/WPeace-HcH/WPeChatGPT)
LLMFuzzer用于大型语言模型的模糊测试框架,通过 LLM API 将其集成到应用程序中。LLMFuzzer (https://github.com/mnns/LLMFuzzer)
LLM-SOC基于大语言模型的安全运营辅助增强工具,RAG框架目前只有READMELLM-SOC (https://github.com/404notf0und/LLM-SOC)
RagSecOpsLLMs + RAG + CVEs + Security = SecAIOpsRagSecOps (https://github.com/rcarrat-AI/ragsecops)
FlipLogGPT使用向量存储进行日志和安全分析的交互式LLM(RAG框架FlipLogGPT (https://github.com/adarshpalaskar1/FlipLogGPT_LLM)
pentestpal不断发展的LLM驱动的工具,以协助渗透测试人员和安全研究人员(RAG框架pentestpal (https://github.com/marklechner/pentestpal)
Sovereign ChatFOSS AI 聊天机器人可以回答有关在线隐私和安全的所有问题(RAG框架
Chainlit (https://docs.chainlit.io/get-started/overview) + Embedchain (https://github.com/embedchain/embedchain/tree/main) + Ollama (https://ollama.com/)Sovereign Chat (https://github.com/Marconius-Solidus/Sovereign-Chat)
Q-A-bot利用大型语言模型 (LLM) 功能与网络安全文档交互的个性化机器人。(RAG框架Q-A-bot (https://github.com/sheshiisree/Q-A-bot)
ZenGuard AI将生产级、低代码 LLM(大型语言模型)护栏集成到其生成式 AI 应用程序中。【及时注入检测、越狱检测、个人身份信息检测、关键字检测等】fast-llm-security-guardrails (https://github.com/ZenGuard-AI/fast-llm-security-guardrails)
cyber-security-llm-agents使用大型语言模型 (LLMs) 执行网络安全日常工作中常见任务的代理集合cyber-security-llm-agents (https://github.com/NVISOsecurity/cyber-security-llm-agents)
Galah一个 LLM(大型语言模型)驱动的 Web 蜜罐,目前与 OpenAI API 兼容,能够模仿各种应用程序和动态响应任意 HTTP 请求。(GO语言)Galah (https://github.com/0x4D31/galah)
CyberSecurityLLMTest测试(数据/提示)大型语言模型是否具有作为网络安全专家执行的能力CyberSecurityLLMTest (https://github.com/ybdesire/CyberSecurityLLMTest)
OpenAI and FastAPI - Text summarization一个基于 OpenAI 的 GPT-3.5 和 GPT-4 API 生成威胁情报摘要报告的工具OpenAI and FastAPI - Text summarization (https://github.com/EC-DIGIT-CSIRC/openai-cti-summarizer)
Security LLaMA2 Fine-tuning利用LLama2进行微调安全领域Security LLaMA2 Fine-tuning (https://github.com/KaitaoQiu/security_llm)
LLM-security✨✨LLM-security (https://github.com/Anonymous1234343/LLM-security)
LLM_Security利用RAG与ChatGPT结合实现LLM Security(RAG框架LLM_Security (https://github.com/BoB-Dev-Top30/LLM_Security)
LLM Security ChatbotLLM 安全聊天机器人旨在帮助理解和研究网络安全研究。主要是 POC。该聊天机器人使用 Mistral 7B v1 构建,并使用 Streamlit 集成到用户友好的界面中,利用自然语言处理为广泛的安全问题提供深入的分析和潜在的缓解策略LLM Security Chatbot (https://github.com/jwalker/llm_security_chatbot)
smartgrid-llm在智能电网中实践大型语言模型的风险:威胁建模和验证smartgrid-llm (https://github.com/jiangnan3/smartgrid-llm)
AISploitAISploit 是一个 Python 包,旨在支持红队和渗透测试人员利用大型语言模型人工智能解决方案。它提供工具和实用程序来自动执行与基于人工智能的安全测试相关的任务。AISploit (https://github.com/hupe1980/aisploit)
PyRIT用于生成 AI 的 Python 风险识别工具 (PyRIT) 是一个开放访问自动化框架,使安全专业人员和机器学习工程师能够使用红队基础模型及其应用程序。PyRIT (https://github.com/Azure/PyRIT)
Experiment AI Nutrition-Pro用于威胁建模和安全审查以及使用 OpenAI GPT-4 的研究项目Experiment AI Nutrition-Pro (https://github.com/xvnpw/ai-nutrition-pro-design-gpt4)
SecurityGuardianAISecurityGuardianAI 是一款主动式云安全分析应用程序,旨在帮助识别云基础设施中的潜在安全威胁和漏洞。应用程序应该能够提供实时监控、分析和报告,以跟踪云服务器上可能发生的任何恶意活动【实际没有用LLMsSecurityGuardianAI (https://github.com/vps/SecurityGuardianAI)
Admyral一款开源网络安全自动化和调查助手。网络安全自动化和调查助理Admyral (https://github.com/Admyral-Security/admyral)
Real-Time-Network-Traffic-Analysis-with-LLM-API使用大型语言模型 (LLM) API 进行实时网络流量分析。通过对 DNS 查询进行实时分析和分类,探索大型语言模型 (LLMs) 在网络安全方面的潜力Real-Time-Network-Traffic-Analysis-with-LLM-API (https://github.com/FerdinandPaul/Real-Time-Network-Traffic-Analysis-with-LLM-API)
CVE2ATT-CK-LLM一种利用LLM(大型语言模型)功能自动将 CVE 描述映射到 ATT&CK 技术的工具。旨在通过弥合漏洞和对抗性策略之间的差距来增强威胁情报和安全意识。CVE2ATT-CK-LLM (https://github.com/vkeilo/CVE-2-ATT-CK-LLM)
MitreTagging开发 MITRE ATT&CK 标记模型的项目,该模型采用安全发现、描述和分析,并使用适当的 ATT&CK 策略和技术对其进行标记MitreTagging (https://github.com/Lifebloom-AI/MitreTagging)
CodeScanGPT基于 GPT 和 OpenAI API 构建的实验性静态应用程序安全测试 (SAST) 扫描程序。CodeScanGPT (https://github.com/chasepd/CodeScanGPT)

论文

名称时间简介链接
ZeroLeak2023.8.24LLMs来修复程序中的旁路漏洞ZeroLeak: Using LLMs for Scalable and Cost Effective Side-Channel Patching (https://arxiv.org/abs/2308.13062)
Large Language Models in Cybersecurity: State-of-the-Art2024.1.30对网络安全领域内的防御性和对抗性应用提供了全面的描述。https://arxiv.org/abs/2402.00891
CySecBERT: A Domain-Adapted Language Model for the Cybersecurity Domain2022.12.6一种基于 BERT的词嵌入模型,用于分析网络安全文本,专门针对网络安全领域定制的语言模型,它可以作为处理自然语言的网络安全系统的基本构建块。https://arxiv.org/abs/2212.02974
A survey on cybersecurity knowledge graph construction2023.10.1网络安全知识图谱构建综述网络安全知识图谱构建综述 - ScienceDirect — A survey on cybersecurity knowledge graph construction - ScienceDirect (https://www.sciencedirect.com/science/article/abs/pii/S0167404823004340?via%3Dihub)
AttacKG: Constructing Technique Knowledge Graph from Cyber Threat Intelligence Reportsv1:2021.11.13
v2:2022.5.29AttacKG自动从CTI报告中提取结构化攻击行为图,并识别所采用的攻击技术。然后,我们汇总跨报告的网络威胁情报,以收集技术的不同方面,并将攻击行为图增强为技术知识图谱 (TKG)https://arxiv.org/abs/2111.07093
EXTRACTOR: Extracting Attack Behavior from Threat Reports2021.4.17EXTRACTOR从CTI报告中精确地自动提取简明的攻击行为。EXTRACTOR 对文本不做任何强有力的假设,并且能够从非结构化文本中提取攻击行为作为来源图。https://arxiv.org/abs/2104.08618
TINKER: A framework for Open source Cyberthreat Intelligencev1:2021.2.10
v6:2023.1.19基于半监督开源知识图谱的框架 TINKER,用于捕获网络威胁信息及其上下文,生成网络威胁情报知识图谱(CTI-KG),并使用不同的用例演示其用法https://arxiv.org/abs/2102.05571
Cybersecurity knowledge graphs2023.4.29安全领域中使用的最著名的基于图的数据模型,以及定义正式网络知识表示中使用的概念和属性的知识组织系统,以获取有关实际系统或攻击的背景知识和特定专家知识。网络安全知识图如何支持机器学习并促进网络知识的自动推理Cybersecurity knowledge graphs (springer.com) (https://link.springer.com/content/pdf/10.1007/s10115-023-01860-3.pdf)
网络安全知识图谱 (https://link.springer.com/article/10.1007/s10115-023-01860-3)
Recent Progress of Using Knowledge Graph for Cybersecurity2022.7.22概述了网络安全知识图谱的核心概念、模式和构建方法。提供了有关信息提取和知识创建工作的相关数据集审查和开源框架,以帮助未来对网络安全知识图的研究。Recent Progress of Using Knowledge Graph for Cybersecurity (semanticscholar.org) (https://pdfs.semanticscholar.org/df3e/68ea2190ab3de21a2eb6713b94462dbe9b1e.pdf?_gl=1*15u7ivz*_ga*MTA1ODcwNDYzLjE3MTUzOTgyOTY.*_ga_H7P4ZT52H5*MTcxNTQwNDM3Ny4yLjEuMTcxNTQwNDg1MC40Mi4wLjA.)
Looking Beyond IoCs: Automatically Extracting Attack Patterns from External CTIv1:2022.11.1
v2:2023.7.11LADDER 是一个知识提取框架,可以从 CTI 报告中大规模提取基于文本的攻击模式。该框架通过捕获 Android 和企业网络中的攻击阶段来表征攻击模式,并将其系统地映射到 MITRE ATT&CK 模式框架。安全分析师可以使用 LADDER 来确定与现有和新兴威胁相关的攻击向量的存在,使他们能够主动准备防御。【基准恶意软件数据集来训练未来的网络威胁情报模型】https://arxiv.org/abs/2211.01753
Constructing a Knowledge Graph from Textual Descriptions of Software Vulnerabilities in the National Vulnerability Databasev1:2023.4.30
v2:2023.5.15根据国家漏洞数据库(NVD)中的信息构建漏洞知识图的新方法。使用神经模型、启发式规则和知识图嵌入的组合,将命名实体识别 (NER)、关系提取 (RE) 和实体预测结合起来,助修复用于网络安全的知识图中缺失的实体并评估性能。https://arxiv.org/abs/2305.00382
Cyber Threat Intelligence for SOC Analysts2023从非结构化威胁分析报告中以不同粒度级别提取、集成和分析威胁情报的研究。wosoc2023-23014-paper.pdf (ndss-symposium.org) (https://www.ndss-symposium.org/wp-content/uploads/2023/09/wosoc2023-23014-paper.pdf)
LLMs Perform Poorly at Concept Extraction in Cyber-security Research Literature2023.12.12名词提取器,并进行了一些统计分析,以从域中提取特定且相关的复合名词https://arxiv.org/abs/2312.07110
Revolutionizing Cyber Threat Detection with Large Language Models: A privacy-preserving BERT-based Lightweight Model for IoT/IIoT Devicesv1:2023.6.25
v2:2024.2.8SecurityBERT,这是一种利用来自转换器的双向编码器表示 (BERT) 模型进行物联网网络网络威胁检测的新型架构。SecurityBERT在识别14种不同的攻击类型方面取得了令人印象深刻的98.2%的总体准确率,超过了基于GAN转换器的架构和CNN-LSTM模型等混合解决方案之前创下的记录。平均 CPU 的推理时间不到 0.15 秒,紧凑的模型大小仅为 16 个。7MB,SecurityBERT非常适合实际流量分析,是部署在资源受限的物联网设备上的合适选择。https://arxiv.org/abs/2306.14263
A Framework for Cyber Threat Intelligence Extraction from Raw Log Data2019.11.1从原始日志数据中提取网络威胁情报的方法,并通过生成复杂系统行为的可检测模式来结合 IoC 和 TTP 的优势。采用日志数据异常检测来披露可疑的日志事件,这些事件用于迭代聚类、模式识别和细化。2019_cyberhunt.pdf (skopik.at) (https://www.skopik.at/ait/2019_cyberhunt.pdf)
Attack Hypotheses Generation Based on Threat Intelligence Knowledge Graph2023.11.1AttackDB,这是一个多级威胁知识库,它结合了来自多个威胁情报源的数据,将高级 ATT&CK 技术与行为恶意软件报告中发现的低级遥测技术相关联。提出了攻击假设生成器,它依赖于知识图遍历算法和各种链接预测方法,从一组可观察的工件中自动推断 ATT&CK 技术。Attack Hypotheses Generation Based on Threat Intelligence Knowledge Graph (https://ieeexplore.ieee.org/document/10005832?denied=)
Machine learning on knowledge graphs for context-aware security monitoring2021.5.18机器学习在用于入侵检测的知识图谱上的应用,并通过实验评估了用于对工业系统中的异常活动进行评分的链路预测方法。经过最初的无监督训练后,所提出的方法被证明可以在各种场景中产生直观的、经过良好校准和可解释的警报,这暗示了知识图谱上的关系机器学习用于入侵检测的潜在好处。https://arxiv.org/abs/2105.08741
An Overview of Cybersecurity Knowledge Graphs Mapped to the MITRE ATT&CK Framework Domains2023.10.2关于当前网络安全知识图是否映射了主要 MITRE ATT&CK 矩阵的研究结果。An Overview of Cybersecurity Knowledge Graphs Mapped to the MITRE ATT&CK Framework Domains (https://ieeexplore.ieee.org/document/10297134?denied=)
A review of knowledge graph application scenarios in cyber security2022.4.10简要概述了网络安全知识图谱的基本概念、模式和构建方法。https://arxiv.org/abs/2204.04769
Knowledge Graphs for Cybersecurity: A Framework for Honeypot Data Analysis2023.8.22使用知识图作为增强蜜罐数据分析的工具。介绍了从数据收集和预处理到知识图谱的创建及其后续分析的整个过程。支持复杂的查询分析,并提供对特定会话中攻击者命令的顺序和模式的洞察,以及源自特定 IP 地址的活动的摘要。然而,转换过程的适应性可能会根据源文档的特征而变化。Knowledge Graphs for Cybersecurity: A Framework for Honeypot Data Analysis (https://ieeexplore.ieee.org/document/10276627)
Infer the missing facts of D3FEND using knowledge graph representation learning2023.8.16提出一种使用链接预测任务来预测缺失事实的自动化方法,利用嵌入作为表示学习。有利于网络安全对策策略。Infer the missing facts of D3FEND using knowledge graph representation learning (https://www.emerald.com/insight/content/doi/10.1108/IJWIS-03-2023-0042/full/html)
Open-CyKG: An Open Cyber Threat Intelligence Knowledge Graph2021.12.5Open-CyKG:一种开放网络威胁情报(CTI)知识图(KG)框架,该框架使用基于注意力的神经开放信息提取(OIE)模型构建,可从非结构化高级持续威胁中提取有价值的网络威胁信息( APT)报告。Open-CyKG:开放的网络威胁情报知识图 - ScienceDirect — Open-CyKG: An Open Cyber Threat Intelligence Knowledge Graph - ScienceDirect (https://www.sciencedirect.com/science/article/pii/S0950705121007863?via%3Dihub)
K-CTIAA: Automatic Analysis of Cyber Threat Intelligence Based on a Knowledge Graph2023.1.12K-CTIAA的自动CTI分析方法,它可以通过预训练的模型和知识图谱中从非结构化CTI中提取威胁行为。K-CTIAA: Automatic Analysis of Cyber Threat Intelligence Based on a Knowledge Graph (https://www.mdpi.com/2073-8994/15/2/337)
CSKG4APT: A Cybersecurity Knowledge Graph for Advanced Persistent Threat Organization Attribution2023.6.1利用知识图谱技术,考虑网络威胁攻击归因的最新研究,深入研究OSCTI高级持续威胁(APT)知识图谱构建和应用过程中的关键相关技术和理论。CSKG4APT: A Cybersecurity Knowledge Graph for Advanced Persistent Threat Organization Attribution (https://ieeexplore.ieee.org/document/9834133?denied=)
Knowledge Graph Construction Research From Multi-source Vulnerability Intelligence2022.12.10以漏洞为核心,按照现有标准进行漏洞情报的知识抽取,建立对应的实体和关系,研究构建相关的、可视化的知识图谱,为漏洞情报的发现和发现提供支撑多源漏洞情报知识图谱构建研究 (https://link.springer.com/chapter/10.1007/978-981-19-8285-9_13)
SecTKG: A Knowledge Graph for Open-Source Security Tools2023.8.14SecTKG,用于开源安全工具的自动化知识图构建架构。是第一个构建大规模安全工具知识图谱的工作,包含400万个实体和1000万个关系SecTKG: A Knowledge Graph for Open-Source Security Tools (hindawi.com) (https://www.hindawi.com/journals/ijis/2023/4464974/)
ThreatLand: Extracting Intelligence from Audit Logs via NLP methods2023.8.12ThreatLand,这是一个可以自动从审核日志中提取高级情报和结构化威胁模式的系统。ThreatLand: Extracting Intelligence from Audit Logs via NLP methods (https://ieeexplore.ieee.org/document/10320173?denied=)
CSER: Enhancing Cybersecurity Entity Recognition Through Multidimensional Feature Fusion2023.12.15网络安全实体识别(CSER)模型CSER: Enhancing Cybersecurity Entity Recognition Through Multidimensional Feature Fusion (https://ieeexplore.ieee.org/document/10386941)
AnnoCTR: A Dataset for Detecting and Linking Entities, Tactics, and Techniques in Cyber Threat Reports2024.4.11AnnoCTR,CC-BY-SA 许可的网络威胁报告数据集。链接到 MITRE ATT&CK 的先前数据集,为每个文档提供单个标签,在脱离上下文的情况下注释句子;数据集以更细粒度的方式注释整个文档。https://arxiv.org/abs/2404.07765
Joint contrastive learning and belief rule base for named entity recognition in cybersecurity2024.4.3JCLB,将对比学习和信念规则库结合起来的新型模型,用于网络安全中的 NER。JCLB 结合 D-CMA-ES 算法,显着提高了网络安全中的 NER 准确性。Joint contrastive learning and belief rule base for named entity recognition in cybersecurity (https://cybersecurity.springeropen.com/articles/10.1186/s42400-024-00206-y)
A Span-based Multivariate Information-aware Embedding Network for joint relational triplet extraction of threat intelligence2024.4.1基于跨度的多元信息感知嵌入网络(SMIEN),用于联合提取威胁情报关系三元组A Span-based Multivariate Information-aware Embedding Network for joint relational triplet extraction of threat intelligence (https://www.sciencedirect.com/science/article/abs/pii/S0950705124004635?via%3Dihub)
CyberEntRel: Joint extraction of cyber entities and relations using deep learning2024.1.1使用深度学习联合提取网络实体和关系。基于注意力的 RoBERTa-BiGRU-CRF 模型进行顺序标记。最后,在为两个预测实体匹配最合适的关系后,使用关系匹配技术提取关系三元组。CyberEntRel:使用深度学习联合提取网络实体和关系 - ScienceDirect — CyberEntRel: Joint extraction of cyber entities and relations using deep learning - ScienceDirect (https://www.sciencedirect.com/science/article/pii/S0167404823004893?via%3Dihub)
CDTier: A Chinese Dataset of Threat Intelligence Entity Relationships2023.10.1构建了中文CTI实体关系数据集——CDTier,其中包括:1)由100份CTI报告、3744个威胁句子和4259个威胁知识对象组成的威胁实体提取数据集;2)用于实体关系提取的数据集,包括100个CTI报告、2598个威胁句子和2562个知识对象关系。CDTier:中文威胁情报实体关系数据集 - 知乎 (zhihu.com) (https://zhuanlan.zhihu.com/p/680587265)
CDTier: A Chinese Dataset of Threat Intelligence Entity Relationships (https://ieeexplore.ieee.org/document/10029930)
A framework for threat intelligence extraction and fusion2023.9.1网络安全概念的联合实体和关系提取模型。威胁情报提取和融合的框架,该框架能够从结构化和非结构化数据中提取、关联和统一网络安全实体关系三元组。威胁情报提取和融合的框架 - ScienceDirect — A framework for threat intelligence extraction and fusion - ScienceDirect (https://www.sciencedirect.com/science/article/abs/pii/S016740482300281X?via%3Dihub)
APTNER: A Specific Dataset for NER Missions in Cyber Threat Intelligence Field2022.5.4构建了一个名为 APTNER 的数据集,可用于 CTI 中的 NER 联合学习和多任务学习任务。除了 IP、URL、恶意软件、位置等常见标签之外,APTNER 还包含 21 个类别APTNER: A Specific Dataset for NER Missions in Cyber Threat Intelligence Field (https://ieeexplore.ieee.org/document/9776031?denied=)
Vulcan: Automatic extraction and analysis of cyber threat intelligence from unstructured text2022.5.1从非结构化文本中自动提取和分析网络威胁情报Vulcan:从非结构化文本中自动提取和分析网络威胁情报 - ScienceDirect — Vulcan: Automatic extraction and analysis of cyber threat intelligence from unstructured text - ScienceDirect (https://www.sciencedirect.com/science/article/abs/pii/S0167404822001584?via%3Dihub)
DNRTI: A Large-scale Dataset for Named Entity Recognition in Threat Intelligence2020.12.1大规模威胁情报命名实体识别数据集(DNRTI)DNRTI: A Large-Scale Dataset for Named Entity Recognition in Threat Intelligence (https://ieeexplore.ieee.org/document/9343158?denied=)
CTI View: APT Threat Intelligence Analysis System2022.1.3面向海量非结构化网络空间威胁情报的文本提取和分析的新型自动化系统CTI View (CTI)由各个安全厂商发布。CTI View: APT Threat Intelligence Analysis System (https://www.semanticscholar.org/reader/456c6e1dc07cadfe0d0302a938aba2cebd673da3)

数据集

名称简介链接
FormAI DatasetAI 生成数据集,包含 112,000 个可编译且独立的 C 程序。数据集中的所有程序均由 GPT-3.5-turbo 使用动态零样本提示技术生成,并包含不同复杂程度的程序。一些程序处理复杂的任务,例如网络管理、桌面游戏或加密,而另一些程序则处理更简单的任务,例如字符串操作。每个程序都根据代码中存在的漏洞进行标记,使用基于高效 SMT 的有界模型检查器 (ESBMC) 的形式验证方法。该策略最终识别漏洞,而不会报告误报(由于存在反例)或漏报(达到一定限度)。标记的样本可用于训练大型语言模型(LLMs),因为它们包含软件漏洞的确切程序位置。FormAI Dataset (https://github.com/FormAI-Dataset/FormAI-dataset)
security-paper-datasets网络安全数据集(427K Rows)security-paper-datasets (https://huggingface.co/datasets/clouditera/security-paper-datasets)
cyber-security-llm-data红队的开源数据集、Meta 的 Bot Adversarial Dialog 数据集cyber-security-llm-data (https://github.com/balavenkatesh3322/cyber-security-llm-list)
AnnoCTRAnnoCTR 包含从商业 CTI 供应商获得的 400 份网络威胁报告。这些报告描述了与威胁相关的信息,例如战术、技术、参与者、工具和目标行业。这些报告由领域专家注释了命名实体、时间表达式和网络安全特定概念。这些注释包括提及组织、地点、行业部门、时间表达、代码片段、黑客团体、恶意软件、工具、策略和技术。https://github.com/boschresearch/anno-ctr-lrec-coling-2024
CVTIKG具有23,636个关系三元组的初步威胁情报知识图(CVTIKG)https://github.com/wangxtz/CVTIKG
CDTier数据集主要分为两部分:实体抽取和关系抽取https://github.com/MuYu-z/CDTier
APTNER为网络威胁情报 (CTI) 领域的 NER 任务提供新的数据集。我们定义了 21 种实体类型。https://github.com/wangxuren/APTNER
DNRTIDNRTI-A-大规模数据集,用于威胁情报中的命名实体识别https://github.com/SCreaMxp/DNRTI-A-Large-scale-Dataset-for-Named-Entity-Recognition-in-Threat-Intelligence
AI Exploits现实世界漏洞的漏洞利用和扫描模板的集合https://github.com/protectai/ai-exploits

相关产品

名称公司简介链接
Q-GPT安全机器人系统(QAX-GPT)奇安信Q-GPT安全机器人系统(QAX-GPT)是面向网络安全领域的革命性产品,专为有大规模安全运营需求的政企客户设计。它充分发挥大语言模型的理解推理能力,通过机器智能模拟人类专家,实现海量告警研判、自动化调查、可执行任务生成。奇安信Q-GPT安全机器人系统(QAX-GPT) (https://www.qianxin.com/product/detail/pid/496)
Microsoft 安全 Copilot微软安全 Copilot 是一种 AI 网络安全产品,使安全专业人员能够快速响应网络威胁、像机器那样快速处理信号,并在数分钟内评估风险暴露。Microsoft 安全 Copilot (https://www.microsoft.com/zh-cn/security/business/ai-machine-learning/microsoft-copilot-security#Scenarios)
Vulnerability detection by AIOffective 360(Hacker AI)Hacker AI 是一种人工智能解决方案,可扫描源代码以识别可能被黑客或恶意行为者利用的潜在安全漏洞。通过识别这些漏洞,组织可以采取措施解决问题并防止安全漏洞。Hacker AI (https://hacker-ai.ai/#hacker-ai)
Firewall for AICloudflareAI 防火墙,这是一个新的保护层,可在滥用和攻击到达之前将其识别出来。使用 LLM 的应用程序量身定制。其中将包括一组工具,供部署在应用程序前面,以检测漏洞并为模型所有者提供可见性。AI 防火墙 (https://www.cloudflare.com/zh-cn/lp/firewall-for-ai/)
Cloudflare 宣布推出 Firewall for AI (https://blog.cloudflare.com/zh-cn/firewall-for-ai-zh-cn/)
AI-SPMWiz人工智能安全态势管理产品,旨在保护在软件开发过程中使用人工智能工具Wiz成为第一个提供AI安全态势管理的CNAPP (https://www.wiz.io/blog/ai-security-posture-management)
GenAI-Powered Security ToolsFortinetGenAI 为 Fortinet AI 增加了一个新维度,允许 SecOps 团队直接与 AI 系统交互,以增强威胁检测、分析和响应、生成报告、构建剧本以及修复易受攻击和受损的系统Fortinet Advisor Applies the Power of GenAI to SecOps (https://www.fortinet.com/blog/business-and-technology/fortinet-advisor-applies-power-of-genai-to-secops)
Burp GPT安吉斯网络Burp GPT 是一款适合顾问和安全专家的综合工具。旨在提高应用程序安全测试的精度和效率。它通过先进的语言处理功能和直观的界面进行扩展,增强了初学者和经验丰富的测试人员的安全测试BurpGPT (https://burpgpt.app/)

其他资源

  • • Awesome GPTs (Agents) for Cybersecurity 攻防两方面的GPT Agent (https://github.com/fr0gger/Awesome-GPT-Agents)

  • • Github地址:GPTSecurity (https://github.com/mo-xiaoxi/GPTSecurity) | GitBook地址:GPTSecurity (https://www.gptsecurity.info/) GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练 Transformer(GPT)、人工智能生成内容(AIGC)以及大型语言模型(LLM)等安全领域应用的知识。

  • • 安全人工智能系统开发指南 (https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development/introduction)

适用于任何使用人工智能 (AI) 的系统提供商的指南,无论这些系统是从头开始创建的,还是构建在其他人提供的工具和服务之上的。

  • • 下一代网络安全应用程序:如何开发和部署 AI/ML、搜索和分析应用程序以转变企业网络安全 (https://www.snowflake.com/next-generation-cybersecurity-applications/?utm_source=google&utm_medium=paidsearch&utm_campaign=na-us-en-nb-cybersecurity-phrase&utm_content=go-rsa-evg-eb-next-generation-cybersecurity-applications&utm_term=c-g-cyber%20security-p-684401030637&gad_source=1&gclid=CjwKCAjw9IayBhBJEiwAVuc3fqPNPtWoWA8ZagWFXFCV21LxC4l4S9xBoBT6CHLcNIuT1Wd_0sVqihoCvlkQAvD_BwE)

https://github.com/liu673/Awesome-LLM4Security

2

往期精彩

[

在币圈发了财,应该怎么办?

](http://mp.weixin.qq.com/s?__biz=MzkwMzMwODg2Mw==&mid=2247506814&idx=1&sn=397e95527d1b5310e4851f135af87d1f&chksm=c09aa82ef7ed2138b76c964dc6837a9c2692603ae3e49866107a4d0bfc04ee3ababca5e35084&scene=21#wechat_redirect)

[

记一次某双一流大学漏洞挖掘

](http://mp.weixin.qq.com/s?__biz=MzkwMzMwODg2Mw==&mid=2247506803&idx=1&sn=8742a6e2d329245acc125561df35e8f1&chksm=c09aa823f7ed2135990c7c80a782802a9ab5c4e45dcb833833b40585500dfda1e4afb7e05702&scene=21#wechat_redirect)

[

现有盗U套路

黑客&网络安全如何学习

今天只要你给我的文章点赞,我私藏的网安学习资料一样免费共享给你们,来看看有哪些东西。

1.学习路线图

攻击和防守要学的东西也不少,具体要学的东西我都写在了上面的路线图,如果你能学完它们,你去就业和接私活完全没有问题。

2.视频教程

网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等,都是网络安全入门必知必会的学习内容。

(都打包成一块的了,不能一一展开,总共300多集)

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

CSDN大礼包:《黑客&网络安全入门&进阶学习资源包》免费分享

3.技术文档和电子书

技术文档也是我自己整理的,包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点,电子书也有200多本,由于内容的敏感性,我就不一一展示了。

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

CSDN大礼包:《黑客&网络安全入门&进阶学习资源包》免费分享

4.工具包、面试题和源码

“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等,感兴趣的同学不容错过。

还有我视频里讲的案例源码和对应的工具包,需要的话也可以拿走。

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

CSDN大礼包:《黑客&网络安全入门&进阶学习资源包》免费分享

最后就是我这几年整理的网安方面的面试题,如果你是要找网安方面的工作,它们绝对能帮你大忙。

这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的,如果大家有好的题目或者好的见解欢迎分享。

参考解析:深信服官网、奇安信官网、Freebuf、csdn等

内容特点:条理清晰,含图像化表示更加易懂。

内容概要:包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

CSDN大礼包:《黑客&网络安全入门&进阶学习资源包》免费分享

  • 25
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Matlab是一种功能强大的科学计算和数据可视化软件,特别适用于基于模型的设计。想要从入门精通,以下是一些建议。 首先,初学者可以通过学习Matlab的基本语法和功能来入门。可以通过参考官方文档、教程和在线资源来学习Matlab的基本命令、变量和数据类型、数组和矩阵操作、控制流程等基础知识。 一旦掌握了基础知识,就可以开始学习Matlab中的模型设计。Matlab提供了一系列工具和函数,可以用于建立数学模型、仿真系统、优化设计等。学习如何利用这些工具和函数,可以通过阅读相关书籍、教程和实例进行。 在完成入门阶段后,可以深入了解Matlab中的高级模型设计技术。这包括学习如何利用Matlab进行符号计算、建立复杂的动态系统模型、应用控制系统设计等。可以通过参加培训课程、研讨会以及与领域专家交流来提高自己的技能。 精通Matlab的关键是实践和项目经验。尝试解决实际问题,从简单的问题开始,逐渐挑战更复杂的项目。通过实践,可以加深对Matlab的理解和运用,同时也可以提高问题解决和创新能力。 总结来说,要从入门精通Matlab基于模型的设计,需要掌握基本语法和功能、学习使用Matlab的模型设计工具和函数、深入了解高级技术,并通过实践和项目经验提高自己的技能水平。不断学习和探索,将会使你在Matlab的模型设计中成为一个专家。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值