NLP攻击评价指标

最新推荐文章于 2025-03-09 17:06:52 发布
最新推荐文章于 2025-03-09 17:06:52 发布
阅读量1.8k 收藏 5
点赞数 2
文章标签： 机器学习 自然语言处理 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38156951/article/details/115759377
版权

进行NLP对抗攻击的实验中可能会使用的攻击评价指标（持续更新）。

目录

一、基于机器的评价指标

1.攻击成功率

通过对比原始精度和攻击后的精度得到，不同论文中可能对成功率的定义有细微的差别。

原始精度（original accuracy）

通常指目标模型对原始文本的文本分类或情感分析等分类任务的分类准确率。

攻击后精度（ after-attack accuracy）

指目标模型在对抗样本上的分类准确率。

2.对抗文本和原始文本语义相似程度（SemanticSimilarity）

扰动单词百分比（perturbed word percentage）

定义为扰动词数和文本长度的比值。

语义相似性（Universal Sentence Encoder）

通过Encoder得到当前句子向量，预测句子前后文的单词。句子的表达是通过对Encoder输出的每个位置的词求和取平均得到的。
USE通过增加更多任务来扩展多任务训练，并与一个类似 skip-thought 的模型联合训练，从而在给定文本片段下预测句子上下文。USE可用于各类迁移学习任务（包括情感和语义相似度分析）。

在这里插入图片描述

Universal Sentence Encoder.

3.攻击模型的效率

用攻击系统对目标模型进行的查询次数来评估攻击模型的效率，查询次数越少，表明效率越高。

二、基于人的评价指标

基于人的评价指标主要包括三个方面：语义相似性、语法性和分类准确性。

先随机混合原始文本和对抗文本，然后让人类对其进行1-5的合理性评分，用于判断对抗样本的语法合理性。

在原始文本和对抗文本的混合样本集中对每个示例进行分类，然后计算两个分类结果的一致性率来评估分类一致性。

判断生成的对抗性文本是否与原始文本相似、模糊或不相似，来评估原始文本和对抗文本的语义相似性。

IMAI RISA
关注
自然语言处理系列之: 模型评估与分析
AI天才研究院
09-24 1972
作者：禅与计算机程序设计艺术 1.简介 在许多应用场景中，我们需要对模型进行评估，以确定其性能是否满足需求，是否能够帮助解决实际的问题。而模型评估一般分为以下几个步骤： 数据集准备：获取和清洗数据集，做好划分训练集、验证集和测试集等工作。 模型选择：根据任务特
第二章：AI大模型的基础知识2.3 自然语言处理基础2.3.2 常见的NLP任务与评价指标
AI天才研究院
01-29 715
1. 背景介绍 随着人工智能技术的飞速发展，自然语言处理（NLP）已经成为了一个热门领域。NLP旨在让计算机能够理解、生成和处理人类语言，从而实现人机交互的自然和高效。在本篇博客中，我们将深入探讨NLP的基础知识，包括常见的NLP任务、评价指标以及相关算法原理。我们还将提供一些实际应用场景和工具资源推荐，以帮助读者更好地理解和应用NLP技术。
通用对抗样本 Universal Adversarial Example
tyh70537的博客
05-12 3192
Universal Aversarial Example介绍 对抗样本（Adversarial Example）是近年来机器学习领域比较火的研究话题，这类样本可以说是机器学习模型的死敌，可以让目前性能最好的机器学习模型都丧失其分类能力 本文旨在介绍更为特殊的一类对抗样本——通用对抗样本Universal Adversarial Example。 定义 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这
NLP评价指标
xzq_qzx_的博客
03-04 2427
1，2，3，4这四种评估指标是基础评估指标；5，6两种评估指标主要用来辨别一句话是否是人话的概率；7，8两种指标经常用于机器翻译、文章摘要评价任务指标；9，10两种指标经常应用于机器翻译任务指标。如果还有其他比较重要或者常用的指标也欢迎大家分享，相互学习！！！以上均为笔者在学习和研究过程中参考过的资料,并非原创,在此表明。笔者目前也正在学习和研究大模型对此领域还不太熟练,欢迎与我讨论,提出宝贵的意见和建议。
大模型安全攻防实战：红队测试中的对抗攻击与防御体系构建
燃灯工作室
03-09 1238
通过构建包含攻击检测、对抗训练、鲁棒性评估的完整防御体系，可使大模型在金融、医疗等高风险场景中的安全性提升50%以上。建议在实际部署时建立持续对抗演练机制，每月更新攻击样本库。在GPT-3上实现攻击成功率降低至5%：贷款审批模型被对抗样本欺骗。：医学影像分类模型防御。
nlp评价指标
qq_18310041的博客
03-20 1747
F1-score, PPL, MRR, MAP, BLUE
对抗攻击中的常用评价指标
路有瑶台的博客
04-17 3821
asr 是衡量分类器鲁棒性的重要指标之一，因为它可以告诉我们分类器在遭受特定攻击时的容错能力，即攻击者多大的概率可以获得正确的结果。对于攻击者来说，asr 越高就越容易实施攻击，而对于分类器的开发者来说，asr 越低就代表分类器的鲁棒性越强。需要注意的是，asr 并不能完全反映分类器的鲁棒性，因为在现实生活中，攻击者通常会使用更加隐蔽和复杂的攻击方式，例如黑盒攻击、迁移攻击等。与其它指标相比，nq 更注重攻击后的置信度变化，它的值越大表示对抗攻击对分类器效果越大，分类器对对抗样本的鲁棒性也就越差。
[NLP笔记] 评价指标
北方的水手，依靠北斗星及北极星来判断正北方向，
02-04 427
评价指标： GLUE SuperGLUE（DeepMind、纽约大学、华盛顿大学联合Facebook提出了新的测试标准SuperGLUE，加入了更难的因果推理任务） SQuAD RACE 参考 一文看尽2019全年AI技术突破 量子位 ...
文献综述｜NLP领域后门攻击、检测与防御
08-14
随着人工智能技术的迅猛发展，自然语言处理（NLP）已经深入到我们生活的方方面面，从智能助手到内容推荐系统，再到机器翻译，无一不体现了NLP技术的广泛应用。然而，随着技术的普及，NLP领域也遭遇了新的安全挑战...
兼容并“包”NLP评价指标：Robustness Gym框架
NLPlunwenjiedu的博客
01-04 643
兼容并“包”NLP评价指标：Robustness Gym框架
【AI视野·今日NLP 自然语言处理论文速览 第八十期】Fri, 1 Mar 2024
TomRen
03-04 1927
AI视野·今日CS.NLP 自然语言处理论文速览 Fri, 1 Mar 2024 Totally 67 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Loose LIPS Sink Ships: Asking Questions in Battleship with Language-Informed Program Sampling Authors Gabriel Grand, Valerio Pepe, Jaco
【学习3】一些NLP评价指标及其计算
iviyandyssg的博客
07-24 2624
参考 1、https://zhuanlan.zhihu.com/p/223048748 2、https://www.cnblogs.com/xinbaby829/p/6955687.html 3、https://zhuanlan.zhihu.com/p/37639563 1、bleu BLEU (全称为Bilingual Evaluation Understudy)的意思是双语评估替补。尽管最开始作为翻译的指标而被发明，但bleu也可以用于image caption的评估。 假如给定标准译文
NLP文本生成的评价指标有什么？
u012744245的博客
03-19 6637
文章目录NLP文本生成的评价指标有什么？1. BLEU2. ROUGE2.1 ROUGE-N （将BLEU的精确率优化为召回率）2.2 ROUGE-L （将BLEU的n-gram优化为公共子序列）2.3 ROUGE-W （ROUGE-W 是 ROUGE-L 的改进版）2.4 ROUGE-S （Skip-Bigram Co-Occurrence Statistics）3. METEOR4. 参考 NLP文本生成的评价指标有什么？ NLP文本生成任务的评价指标有哪些？怎么判断模型好坏呢？如何解读指标的意义？例如
NLP常见任务及评估指标
热门推荐
ph12345687的博客
04-21 1万+
整理了一些常见的NLP任务评价指标
【NLP】常见衡量指标(metrics)
程序的尽头是数学，一日不推导赶不上买买提
07-29 1724
1 ROC相关：P，R，F 2 相关系数：皮尔逊系数 3 字准 4 困惑度 5 MOS打分
攻击信标（IOA）与攻陷信标（IOC）
云上笛暮
04-28 5807
了解 IoA 和 IoC我们先来简单看看这两个指标的定义。
NLP模型评价
谁怕平生太急
05-07 824
原文：https://homes.cs.washington.edu/~marcotcr/acl20_checklist.pdf 译文：https://blog.csdn.net/qq_37236745/article/details/107251063 评论：https://zhuanlan.zhihu.com/p/159035275 评论：https://zhuanlan.zhihu.com/p/158500675 Github：https://github.com/marcotcr/CheckList
【深度学习】生成式对抗网络（GAN）的常见评价指标：IS/FID/JS散度
无极阁
05-18 5407
生成式对抗网络的目标是生成高质量且多样性的样本，而一般的loss对其衡量能力有限，也无法像分类问题这种监督学习一样通过准确率等指标衡量。因此需要一些特定的方式对其进行衡量，本文主要介绍场景的几种衡量方式，即IS、FID与JS散度，能够从不同角度对GAN的效果进行衡量。
对抗攻击与防御入门
m0_57512841的博客
07-27 6404
对抗样本---深度学习
大模型评价指标
最新发布
03-31
<think>嗯，用户想了解大模型的评估指标，包括准确率、召回率、损失函数这些常见的，还有其他的性能评测标准。首先，我需要回忆一下常见的机器学习评估指标，然后考虑大模型特有的部分。 首先，损失函数确实是训练过程中用的，比如交叉熵损失、均方误差这些，但用户可能知道这些，需要确认是否属于评估指标。根据引用[1]，损失函数是训练用的，评估指标是测试时用的，所以可能应该分开讲。 然后，基础分类指标有准确率、精确率、召回率、F1值。但引用[2]和[4]提到准确率在类别不平衡时的局限性，所以需要强调这些指标的应用场景和限制。比如准确率在数据不平衡时可能不准确，这时候需要用F1或者AUC-ROC。 接下来，回归任务常用的指标，如MAE、MSE、RMSE、R²，这些都是标准指标，应该包括进去。 大模型可能涉及生成任务，比如自然语言处理中的BLEU、ROUGE、METEOR，这些是评价生成文本质量的指标。用户可能知道准确率这些，但生成任务的不同之处需要说明。 还有特定任务指标，比如问答中的EM和F1，摘要的ROUGE，代码生成的执行准确率。这部分需要具体例子，让用户理解不同任务的不同评估方法。 性能效率指标也很重要，比如推理速度、内存占用、FLOPs，特别是大模型在部署时的资源消耗，这些影响实际应用。 新兴评估维度，比如伦理安全性、偏见检测、鲁棒性，这些是大模型特有的问题，可能需要引用相关研究，但用户提供的引用中没有提到这些，可能需要根据常识补充。 另外，大模型的多任务评估，比如MMLU、HELM，这些基准测试集用来全面评估模型能力，需要提及。 用户的问题可能更关注除了传统指标之外的大模型特有的评估方法，所以需要平衡传统和新兴指标。同时，注意引用已有的资料，比如引用[1]-[4]提到的准确率、召回率、损失函数的关系，以及类别不平衡的问题。 需要检查是否有遗漏的重要指标，比如人类评估，虽然主观但重要。或者像Toxicity评分这样的伦理相关指标。 最后，组织答案时要分点清晰，可能按任务类型分类，比如分类、回归、生成任务，再讲效率、伦理等。确保每个指标解释清楚，并提到其适用场景和限制，帮助用户全面理解。</think>### 大模型评估指标详解 大模型的评估指标需要从多个维度综合衡量其性能，包括传统机器学习指标和大模型特有的评估标准。以下是主要分类及说明： --- #### 一、**基础分类指标** 1. **准确率（Accuracy）** 定义：预测正确的样本占总样本的比例，公式为： $$ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} $$ 适用场景：类别平衡的简单分类任务。 局限性：在类别不平衡时可能失真（例如99%负样本的数据集，模型全预测负类也能达到高准确率）[^4]。 2. **精确率（Precision）与召回率（Recall）** - 精确率：预测为正类的样本中实际为正类的比例，公式： $$ \text{Precision} = \frac{TP}{TP + FP} $$ - 召回率：实际为正类的样本中被正确预测的比例，公式： $$ \text{Recall} = \frac{TP}{TP + FN} $$ 适用场景：关注正类检测的任务（如医疗诊断、欺诈检测）[^2][^3]。 3. **F1-Score** 定义：精确率和召回率的调和平均数，公式： $$ F1 = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $$ 适用场景：需要平衡精确率和召回率的场景（如信息检索）。 4. **AUC-ROC** 定义：通过绘制真正类率（TPR）与假正类率（FPR）的曲线下面积评估分类器整体性能，AUC值越大越好。 适用场景：类别不平衡或需要综合评估分类器排序能力的任务。 --- #### 二、**回归任务指标** 1. **均方误差（MSE）** 定义：预测值与真实值差的平方均值，公式： $$ \text{MSE} = \frac{1}{N} \sum_{i=1}^N (y_i - \hat{y}_i)^2 $$ 特点：对异常值敏感，反映误差的绝对大小。 2. **平均绝对误差（MAE）** 公式： $$ \text{MAE} = \frac{1}{N} \sum_{i=1}^N |y_i - \hat{y}_i| $$ 特点：鲁棒性更强，适合对异常值不敏感的任务。 --- #### 三、**生成任务专用指标** 1. **BLEU** 用途：评估机器翻译或文本生成的质量，通过比较生成文本与参考文本的n-gram重叠度。 公式： $$ \text{BLEU} = \text{BP} \times \exp\left( \sum_{n=1}^k w_n \log p_n \right) $$ 其中，BP（Brevity Penalty）惩罚过短输出。 2. **ROUGE** 用途：评估文本摘要或生成任务，关注召回率（如ROUGE-L基于最长公共子序列）。 3. **METEOR** 特点：引入同义词和词干匹配，比BLEU更接近人工评估结果。 --- #### 四、**大模型特有评估维度** 1. **任务多样性评测** - **MMLU（Massive Multitask Language Understanding）**：涵盖57个学科的多选题测试，评估模型跨领域知识掌握能力。 - **HELM（Holistic Evaluation of Language Models）**：从准确性、公平性、鲁棒性等维度综合评测。 2. **伦理与安全性** - **偏见检测**：通过特定数据集（如BOLD）评估模型输出中的性别、种族等偏见。 - **毒性评分（Toxicity Score）**：使用分类器检测生成内容中的攻击性语言。 3. **效率指标** - **推理速度（Tokens/Second）**：直接影响实际部署成本。 - **显存占用（GPU Memory）**：衡量模型对硬件资源的需求。 - **FLOPs（浮点运算次数）**：反映模型计算复杂度。 --- #### 五、**其他重要指标** 1. **损失函数（训练阶段）** 如交叉熵损失（分类）、均方误差（回归），用于优化模型参数，但需注意训练损失低不一定对应测试集高精度[^1]。 2. **人类评估（Human Evaluation）** 生成任务中常通过人工打分评估流畅性、相关性等主观指标。 --- ###
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值