【Article】Detecting hallucinations in large language models using semantic entropy

已于 2024-07-08 12:01:56 修改
阅读量142 收藏
点赞数 1
分类专栏： Memmat 文章标签： 语言模型 人工智能 自然语言处理 深度学习 论文
于 2024-07-07 23:10:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JishuFengyang/article/details/140253978
版权

文章目录

【Nature Article】Detecting hallucinations in large language models using semantic entropy

论文记录。翻译不准确，以原文为准。代码解析敬请期待。

1. Abstract

大型语言模型(LLM)系统，如ChatGPT或Gemini?，可以表现出令人印象深刻的推理和回答问题的能力，但经常会产生“幻觉”的错误输出和未经证实的答案。不可靠的回答或没有必要的信息阻碍了在不同领域的采用，问题包括在新闻文章中捏造法律先例或不真实的事实，甚至对放射学等医学领域的人类生命构成威胁。通过监督或强化鼓励诚实只取得了部分成功。研究人员需要一种检测法学硕士幻觉的通用方法，这种方法甚至适用于人类可能不知道答案的新问题和未知问题。在这里，我们开发了基于统计学的新方法，为法学硕士提出了基于熵的不确定性估计器，以检测幻觉的子集-虚构-这是任意和不正确的世代。我们的方法解决了这样一个事实，即一个想法可以通过计算意义层面的不确定性而不是特定的单词序列来以多种方式表达。我们的方法可以跨数据集和任务工作，而不需要任务的先验知识，不需要特定于任务的数据，并且可以健壮地推广到以前未见过的新任务。通过检测提示何时可能产生错误，我们的方法可以帮助用户了解何时必须格外小心使用llm，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
猛码Memmat
关注
专栏目录
订阅专栏
Detecting Bias in Large Language Models: Fine-tuned KcBERT
c_cpp_csharp的专栏
06-03 232
大型语言模型（LLM）的快速发展使其具有与人类相似的自然语言处理能力，LLM正被广泛应用于教育和医疗保健等各个社会领域。虽然这些模型的多功能性有所提高，但它们有可能产生主观和规范的语言，导致社会群体中的歧视性待遇或结果，尤其是由于网络攻击性语言。在本文中，我们将此类危害定义为社会偏见，并通过基于模板的掩蔽语言建模（MLM），使用来自Transformer的双向编码器表示（KcBERT）和KOLD数据，在一个与韩语评论微调的模型中评估种族、性别和种族偏见。为了定量评估偏差，我们采用了LPBS和CBS指标。
Detecting Jailbreak Attacks on Large Language Models by Exploring Refusal Loss Landscapes
c_cpp_csharp的专栏
06-26 162
大型语言模型（LLM）正在成为一种突出的生成人工智能工具，用户可以在其中输入查询，LLM生成答案。为了减少伤害和滥用，已经努力使用先进的训练技术，如从人类反馈中强化学习（RLHF），使这些LLM与人类价值观相一致。然而，最近的研究强调了LLM容易受到旨在破坏嵌入式安全护栏的对抗性越狱企图的影响。为了应对这一挑战，本文定义并研究了LLM的拒绝损失，然后提出了一种称为梯度Cuff的方法来检测越狱企图。梯度Cuff利用在拒绝损失景观中观察到的独特特性，包括函数值及其平滑度，设计了一种有效的两步检测策略。
【大模型安全论文阅读】Detecting hallucinations in large language models using semantic entropy
Devilike的博客
07-25 409
论文名称:Detecting hallucinations in large language models using semantic entropy发表期刊：Nature作者：Sebastian Farquhar, Jannik Kossen, Lorenz Kuhn & Yarin Gal。
Nature:使用语义熵检测大语言模型中的幻觉
qq128252的博客
06-27 2266
大语言模型（LLM）如ChatGPT和Gemini在推理和问答方面表现出色，但经常产生错误输出或未经证实的答案，被称为“幻觉”。这些幻觉在法律、新闻和医学等领域带来了可靠性问题，导致错误信息传播和潜在的严重后果。本文提出了一种基于熵的统计方法，用于检测大型语言模型（LLM）中的“虚构内容”（confabulations），即生成的任意且错误的信息。通过计算生成内容的语义熵，该方法能够在不同任务和数据集中检测虚构内容，不需要任务特定的数据，具有良好的泛化能力。图 1 语义熵和虚构检测概述a.
Detecting and Preventing Hallucinations in Large Vision Language Models----大视觉语言模型中检测和预防幻觉
Mars_prime的博客
11-27 1309
近年来，大型语言模型 (LLM) 改变了人工智能格局，将其训练数据扩展到数万亿个标记，将参数数量扩展到数千亿个（Brown 等人，2020 年；Touvron 等人，2023 年）。这释放了强大的智能行为，并通过使用 ChatGPT 等聊天代理得到了广泛采用。最近，多模态模型的进展已经被广泛采用，将视觉主干移植到预训练的大型语言模型上，从而产生了 LVLM（Liu et al. 2023b；
Mitigating Object Hallucinations in Large Vision-Language Models through Visual Contrastive Decoding
Mars_prime的博客
12-04 1766
大视觉语言模型（LVLM）已经取得了长足的进步，将视觉识别和语言理解交织在一起，生成不仅连贯而且与上下文相协调的内容。尽管取得了成功，LVLM 仍然面临物体幻觉的问题，即模型生成看似合理但不正确的输出，其中包括图像中不存在的物体。为了缓解这个问题，我们引入了视觉对比解码（VCD），这是一种简单且无需训练的方法，可以对比源自原始视觉输入和扭曲视觉输入的输出分布。所提出的 VCD 有效减少了对统计偏差和单峰先验的过度依赖，这是物体幻觉的两个重要原因。
论文阅读Nature：Detecting hallucinations in large language models using semantic entropy(使用语义熵来检测大模型中的幻觉）
Twinkle0110的博客
10-31 805
对于大段文字，首先提取出多个事实片段，对每个片段，用LLM想出多个回答应该是这个片段的问题，再把每个问题向大模型提问，能得到关于这一个事实的很多个回答（提问方式并不一样），把这些回答和事实片段放在一起，聚类，看熵的情况（和a中逻辑一致），然后判断是否是confabulations。基础知识，详细见百度。语义熵大的回答被本文认为是“虚构内容”的可能性大。本文的目的是为了解决大预言模型的幻觉问题，但由于“幻觉”的定义是过于广泛的，且导致幻觉的原因是多种的，本文只关注“幻觉”的一个子集（一个种类）—— —— （
THE HUMAN FACTOR IN DETECTING ERRORS OF LARGE LANGUAGE MODELS
c_cpp_csharp的专栏
05-28 47
2022年11月，OpenAI推出了ChatGPT，这标志着人工智能的关键时刻，将大型语言模型（LLM）引入主流，并创下了用户采用率的新纪录。LLM，特别是ChatGPT，接受了广泛的互联网数据训练，在各个领域都表现出了非凡的对话能力，这表明它对劳动力产生了重大影响。然而，这些模型容易出现错误——“幻觉”和遗漏，产生不正确或不完整的信息。这带来了风险，尤其是在准确性至关重要的情况下，如法律合规、医学或细粒度流程框架。有技术和人为的解决方案来应对这种情况。
Fine-Tuning Large Language Models with Sequential Instructions
c_cpp_csharp的专栏
05-23 129
大型语言模型（LLM）很难在单个查询中遵循一系列指令，因为它们可能会忽略或误解其中的一部分。这会削弱它们在复杂问题中的性能，这些问题的解决方案需要多个中间步骤，如多语言（翻译然后回答）和多模态（说明然后回答）任务。我们用LLaMA-2 70B和Mixtral-8×7B这样大的开源LLM实证验证了这一点。针对当前数据中顺序指令的稀缺性，我们提出了顺序指令调优（SIT），这是一种简单而有效的策略，可以自动增加指令调优数据，并使LLM具备执行多个顺序指令的能力。
深度学习之循环神经网络(RNN)
weixin_43775295的博客
11-12 309
其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。​ 由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏，为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。
AI 大模型如何重塑软件开发流程与模式
lssffy的博客
11-12 251
在传统的软件开发流程中，开发者从需求分析开始，到架构设计、编码、测试、部署和维护，整个过程往往需要花费大量的时间与人力。开发者需要从零开始编写代码，并通过反复的调试和测试来确保代码质量。这种方式虽然严谨，但效率相对较低，并且容易出现人为错误。而 AI 大模型的加入为软件开发带来了革命性的变化。代码生成工具如 GitHub Copilot 等，能够根据开发者的自然语言提示自动生成代码，甚至能够理解上下文，从而大幅减少重复劳动。智能调试和测试工具可以快速发现潜在的错误，给出修复建议。
PCA（主成分分析）算法的应用场景
huanfeng_AI的博客
11-09 397
需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。
机器学习系列----岭回归（Ridge Regression）简介及实现
DK22151的博客
11-09 872
岭回归（Ridge Regression），也被称为Tikhonov正则化，是一种线性回归的变体。它通过在普通最小二乘法（OLS）回归中加入L2正则化项来解决多重共线性问题，从而提高模型的泛化能力和鲁棒性。岭回归的核心思想是通过惩罚模型的参数，使得它们保持较小的值，从而减少过拟合的风险。岭回归适用于当特征之间高度相关时（即多重共线性问题），普通的线性回归模型可能会变得不稳定，并且模型的系数可能会变得非常大。岭回归通过加上一个正则化项，约束了模型参数的大小，从而使得模型更加稳健。
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 2965
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
【Node-Red】使用文件或相机拍摄实现图像识别
weixin_43195420的博客
11-12 553
使用文件或相机拍照实现图像识别
深度学习笔记13-卷积神经网络1
最新发布
weixin_51828505的博客
11-12 659
卷积神经网络（CNN），它是由多个卷积层、池化层和全连接层构成的前馈神经网络。在卷积神经网络中，包含了可训练的卷积核，这使得卷积神经网络具有强大的表征学习能力。卷积神经网络通过卷积层和池化层进行特征提取，通过全连接层和输出层进行分类。因此卷积神经网络是一种端到端的机器学习模型。
人工智能是这样理解“情绪”的
JellyAI的博客
11-12 557
在前面的内容中，我们经常提到“特征”，那么如何表示特征呢？举个例子，在日常生活中，我们描述一个快递包装盒时可能会提到它的高度、宽度和深度（这三个值就是盒子的特征，当然也可以用颜色、重量、材料等来描述）。当我们仅用高度、宽度和深度三个数据来描述盒子的特征时，我们就说这个盒子的特征是三维的。如果再加上颜色、重量和材料等特征，那么这个特征空间就是六维的了。
Yolo11实战改进：一文读懂Yolo11到实战。
m0_47867638的博客
11-09 828
YOLO11是Ultralytics YOLO系列实时目标检测器的最新迭代版本，它以尖端的精度、速度和效率重新定义了可能性。在之前YOLO版本令人瞩目的进步基础上，YOLO11在架构和训练方法上引入了重大改进，使其成为各种计算机视觉任务的通用选择。关键特性：YOLO11采用改进的主干网络和颈部架构，提高了特征提取能力，以实现更精确的目标检测和更复杂的任务性能。YOLO11引入了精细的架构设计和优化的训练流程，提供了更快的处理速度，并在准确性和性能之间保持了最佳平衡。
0-Equity-Transformer：求解NP-Hard Min-Max路由问题的顺序生成算法（AAAI-24)(完)（code）
太极生两鱼
11-12 33
最小最大路由问题旨在通过智能体合作完成任务来最小化多个智能体中最长行程的长度。这些问题包括对现实世界有重大影响的应用场景，但已知属于NP-hard问题。现有方法在大规模问题上面临挑战，尤其是在需要协调大量智能体以覆盖数千个城市的情况下。本文提出了Equity-Transformer来解决大规模最小最大路由问题。首先，我们采用顺序规划方法来处理最小最大路由问题，使我们能够利用强大的序列生成器（例如，Transformer）。其次，我们提出了关键的归纳偏差，以确保智能体之间的公平工作量分配。
using python how to write a code for detecting cat in a picture
03-31
As an AI language model, I do not have the ability to write and execute code. However, I can provide you with a sample code in Python for detecting cats in an image using OpenCV library and a pre-trained Haar classifier. ``` import cv2 # Load the pre-trained Haar classifier for cat detection cat_cascade = cv2.CascadeClassifier('haarcascade_frontalcatface.xml') # Load the image to detect cats img = cv2.imread('cat.jpg') # Convert the image to grayscale gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # Detect cats in the image cats = cat_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5) # Draw rectangles around the detected cats for (x,y,w,h) in cats: cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2) # Display the image with detected cats cv2.imshow('Cat Detection', img) cv2.waitKey(0) cv2.destroyAllWindows() ``` In this code, we first load the pre-trained Haar classifier for cat detection using `CascadeClassifier` function from OpenCV library. We then load the image to detect cats and convert it to grayscale using `cvtColor` function. We use `detectMultiScale` function to detect cats in the grayscale image and draw rectangles around the detected cats using `rectangle` function. Finally, we display the image with detected cats using `imshow` function and wait for the user to press any key to exit the display window.
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猛码Memmat

欢迎支持，随缘打赏 ~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值