llm_security(大模型内容安全)

于 2024-09-10 20:50:14 发布
阅读量249 收藏 2
点赞数 4
文章标签： 自然语言处理 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20182781/article/details/142108923
版权

项目地址：https://github.com/jiangnanboy/llm_security

利用分类法和敏感词检测法对生成式大模型的输入和输出内容进行安全检测，尽早识别风险内容。


使用【ServiceApplication.java】

相关模型下载：https://github.com/jiangnanboy/text_security_audit

使用者可自行训练bert类相关模型，用本项目加载即可。

本项目采用java, springboot实现。

  • 敏感词(sensitive word detection)
  • 政治类(politics detection)
  • 暴恐类(violence detection)
  • 色情类(porn detection)
  • 辱骂歧视类(insult detection)

石头木V2
关注
  • 4
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLM大模型统一封装接口解决方案
Jack_software的专栏
03-18 1143
封装一个通用的 Java 框架的 chat completion 接口，来适配各种大模型的统一调用的解决方案
2024年网安最新【安全】大模型安全综述_安全大模型csdn
2401_84239830的博客
05-03 705
对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！如果你能答对70%，找一个安全工作，问题不大。最后给大家分享一份全套的网络安全学习资料，给那些想学习 网络安全的小伙伴们一点帮助！对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！对于从来没有接触过网络安全的同学，我们帮你准备了详细的。，大家跟着这个大的方向学习准没问题。
探究大语言模型（LLM）漏洞和安全优秀实践
java_cjkl的博客
07-21 1364
你可能已听说过LLM强势亮相，至少ChatGPT就是代表。大语言模型(LLM)指语言处理模型。这类模型经过训练，可以执行各种各样的语言任务：翻译、文本生成和问题回答等。有几个LLM家族和架构，最著名的是GPT(生成式预训练Transformer)。每种 LLM都有各自的特定功能，但本文侧重介绍LLM普遍固有的安全问题。随着越来越多的公司集成LLM以增强用户体验或简化和加速内部流程，这种类型的集成特有的新漏洞随之出现。
技术实践｜百度安全「大模型内容安全」高级攻击风险评测
Baidu_Secrity的博客
02-29 1761
相比较大模型提示词注入风险，大模型高级攻击风险实施门槛更低，暴露的风险更直观。为了更好地帮助大模型开发者及时发现模型自身的风险，在对大模型的评测过程中需要包含高级攻击的评测，百度大模型内容安全评测建立了科学，全面的高级攻击分类体系与构造工具，并且提出与基础内容类别结合的方法去评测高级攻击的风险情况，从而对于被评测大模型在高级攻击方面的风险情况可以做到更细致，更准确的认知，助力企业构建平稳健康、可信可靠的大模型服务。
【LLM安全】A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly
qq_43543209的博客
02-26 1661
LLMs在代码安全和数据安全与隐私方面都做出了贡献。在代码安全的背景下，LLMs已经被用于代码(例如,安全编码、测试用例生成、脆弱代码检测、恶意代码检测、代码修复等)的整个生命周期。在数据安全和隐私方面，LLMs已被应用于确保数据完整性、数据机密性、数据可靠性和数据可追溯性。大多数研究人员发现基于LLM的方法优于传统最先进的方法。
LLM大模型安全：Prompt Injection与Web LLM attacks
2401_82469710的博客
07-19 406
大语言模型（英文：Large Language Model，缩写LLM）中用户的输入称为：Prompt（提示词），一个好的 Prompt 对于大模型的输出至关重要，因此有了 Prompt Engneering（提示工程）的概念，教大家如何写好提示词
网络安全行业大模型调研总结
yamgyutou的博客
12-07 1016
提高安全运营效率，在调查、分析、研判阶段可以作为安全运营人员的助手，提高安全运营效率；随着人工智能技术的发展，安全行业大模型SecLLM（security Large Language Model）应运而生，可应用于代码漏洞挖掘、安全智能问答、多源情报整合、勒索情报挖掘、安全评估、安全事件研判等场景。安全运营专家，提供告警辅助研判、高级溯源分析、安全态势分析、安全事件预警等能力。场景：集安全风险发现、大模型访问控制、数据泄露管控、违法违规行为溯源、大模型应用分析等为一体。（6）安恒科技---AI恒脑。
强力推荐：LLM Guard - 大规模语言模型交互的安全卫士
gitblog_00056的博客
05-21 405
强力推荐：LLM Guard - 大规模语言模型交互的安全卫士 llm-guardThe Security Toolkit for LLM Interactions项目地址:https://gitcode.com/gh_mirrors/ll/llm-guard 在人工智能的浪潮中，大规模语言模型（LLMs）已经成为了信息处理的重要工具。然而，随之而来的是安全性和隐私保护的问题。这就是Laiyer...
网络安全大模型AutoAudit助力恶意内容检测
ddzipp的博客
08-20 759
AutoAudit提供一个高效、准确的安全扫描和咨询平台，利用大语言模型技术帮助用户检测上传文件或代码中的潜在恶意内容，从而加强系统和数据的安全性。
AutoAudit—— the LLM for Cyber Security 网络安全大语言模型.zip
03-14
《AutoAudit：网络安全大语言模型的应用与探索》 在当今数字化时代，网络安全成为了各行各业不可或缺的关注焦点。AutoAudit作为一款专为网络安全设计的大语言模型，它以其独特的多模态特性和垂直领域的专业性，引领...
《AI大模型应用》-AutoAudit- the LLM for Cyber Security 网络安全大语言模型.zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
AutoAudit- the LLM for Cyber Security 网络安全大语言模型.zip
04-22
AutoAudit- the LLM for Cyber Security 网络安全大语言模型.zip
Meta：大语言模型可以通过自我批判取得大幅提升！
夕小瑶科技说
09-04 1130
本文利用元评判者分配元奖励，优化模型判断偏好，克服自奖励框架的训练限制。同时，引入长度控制技术，解决训练中的长度问题。即使没有额外的人类反馈，该方法也显著改善了 Llama-3-8B-Instruct，并超越了依赖于人类反馈的强基线 Self-Rewarding 和SPPO。并且该模型的判断能力与人类及强大AI评判者（如GPT-4）高度相关。也许随着科技发展，无需人类反馈的模型超对齐将可能实现。
【自然语言处理】第二章现代语言学基础
Ausgelebt的博客
09-07 990
从语言使用时的外部环境来看句子在交际中实际传递的信息、发挥的功能，就是调用语用系统对句子的语义做出更全面的解释。语用系统的本质是基于经验的逻辑推理。
NLP从零开始------17.文本中阶处理之序列到序列模型（2）
m0_74922316的博客
09-04 1113
序列到序列模型可以看成一种条件语言模型，以源句x为条件计算目标句的条件概率该条件概率通过概率乘法公式分解为从左到右每个词的条件概率之积：序列到序列模型的监督学习需要使用平行语料，其中每个数据点都包含一对源句和目标句。以中译英机器翻译为例，平行语料的每个数据点就是一句中文句子和对应的一句英文句子。机器翻译领域较为有名的平行语料库来自机器翻译研讨会( workshop on machine translation， WMT)， 其中的语料来自新闻、维基百科、小说等各种领域。
【机器学习】深度学习的现实应用——从图像识别到自然语言处理
Allen-
09-05 2048
深度学习（Deep Learning）是一种基于人工神经网络的机器学习技术，通过构建多层神经网络模型来模拟人类大脑的思维方式。与传统的机器学习方法相比，深度学习可以自动学习数据的特征，避免了手动设计特征的复杂过程。
人工智能 | 搭建企业内部的大语言模型系统
最新发布
ceshiren_com的博客
09-10 1034
PrivateGPT 提供了一个 API，其中包含构建私有的、上下文感知的 AI 应用程序所需的所有构建块。该 API 遵循并扩展了 OpenAI API 标准，支持普通响应和流响应。这意味着，如果您可以在您的工具之一中使用 OpenAI API，则可以使用您自己的 PrivateGPT API，无需更改代码，并且如果您在本地模式下运行 privateGPT，则免费。
时下改变AI的6大NLP语言模型
zhishi0000的博客
09-05 1652
本文将深入研究大语言模型领域的最新进展，改变AI的6大NLP语言模型，每个模型能够引入的增强功能、以及潜在功能应用与限制。在快速发展的人工智能（AI）领域，自然语言处理（Natural Language Processing，NLP）已成为了研究人员和开发人员的关注焦点。作为该领域显著进步的标志，近年来业界出现了多种突破性的语言模型。它们推动了机器理解和生成能力的进行。在本文中，我们将深入研究大语言模型领域的最新进展，探索每个模型能够引入的增强功能、以及潜在功能应用。
大语言模型LLM：理解、发展与应用
大语言模型（Large Language Model，LLM）是现代人工智能领域的重要组成部分，它的出现极大地推动了自然语言处理（NLP）的进步。这些模型通过深度学习技术，尤其是神经网络架构，如循环神经网络（RNN）、长短时记忆...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值