EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS

最新推荐文章于 2024-09-04 14:24:09 发布
最新推荐文章于 2024-09-04 14:24:09 发布
阅读量1k 收藏
点赞数 1
分类专栏： Survey Paper 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/133686552
版权
Survey Paper 同时被 2 个专栏收录
184 篇文章 7 订阅 ¥99.90 ¥299.90
订阅专栏 超级会员免费看
LLM 日更
515 篇文章 3 订阅

已下架不支持订阅

本文构建了HalluQA基准，用于检测中文大型语言模型的幻觉现象，涵盖450个对抗性问题，涉及18个模型的实验显示无幻觉率低于50%，提出了自动化评估方法并分析了幻觉类型和原因。
摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS》的翻译。

中文大语言模型的幻觉评价

摘要

在本文中，我们建立了一个名为HalluQA (Chinese Hallucination question - answers)的基准来测量中文大型语言模型中的幻觉现象。HalluQA包含450个精心设计的对抗性问题，跨越多个领域，并考虑到中国的历史文化，习俗和社会现象。在构建HalluQA的过程中，我们考虑了两种类型的幻觉:模仿虚假和事实错误，并基于GLM-130B和ChatGPT构建了对抗性样本。为了评估，我们设计了一种使用GPT-4的自动评估方法来判断模型输出是否存在幻觉。我们在ERNIE-Bot、百川2、ChatGLM、Qwen、SparkDesk等24个大型语言模型上进行了大量的实验。在24个模型中，18个模型的无幻觉率低于50%。这表明《HalluQA》具有很高的挑战性。我们分析了不同类型模型中幻觉的主要类型及其原因。此外，我们还讨论了不同类型的模型应该优先考虑哪种类型的幻觉。

1 引言

2 HALLUQA基准

3 实验

4 讨论

5 相关工作

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航
勿忘初心,方得始终
01-29 1291
大型视觉语言模型（LVLMs）通过整合来自不同模态的丰富信息，可以全面理解世界，在各种多模态下游任务上取得显著进步。然而，由于其巨大的计算/能源成本和碳消耗，部署LVLMs通常是有问题的。这些问题使得采用传统的迭代全局修剪是不可行的，由于计算整个大模型的Hessian矩阵进行稀疏化，这是昂贵的。或者，一些研究最近提出了逐层修剪方法，以避免全局修剪的昂贵计算，并根据模型权重在层内的重要性有效地压缩模型权重。然而，由于缺乏全局视角，它们经常遭受次优模型压缩。
探索中文大型语言模型的幻觉现象：HalluQA基准介绍
gitblog_01167的博客
09-02 307
探索中文大型语言模型的幻觉现象：HalluQA基准介绍 HalluQADataset and evaluation script for "Evaluating Hallucinations in Chinese Large Language Models"项目地址:https://gitcode.com/gh_mirrors/ha/HalluQA 在人工智能领域，大型语言模型（LLMs）的发展...
Mitigating Object Hallucinations in Large Vision-Language Models through Visual Contrastive Decoding
Mars_prime的博客
12-04 1541
大视觉语言模型（LVLM）已经取得了长足的进步，将视觉识别和语言理解交织在一起，生成不仅连贯而且与上下文相协调的内容。尽管取得了成功，LVLM 仍然面临物体幻觉的问题，即模型生成看似合理但不正确的输出，其中包括图像中不存在的物体。为了缓解这个问题，我们引入了视觉对比解码（VCD），这是一种简单且无需训练的方法，可以对比源自原始视觉输入和扭曲视觉输入的输出分布。所提出的 VCD 有效减少了对统计偏差和单峰先验的过度依赖，这是物体幻觉的两个重要原因。
【AI视野·今日NLP 自然语言处理论文速览 第八十期】Fri, 1 Mar 2024
TomRen
03-04 1525
AI视野·今日CS.NLP 自然语言处理论文速览 Fri, 1 Mar 2024 Totally 67 papers 👉上期速览✈更多精彩请移步主页 Daily Computation and Language Papers Loose LIPS Sink Ships: Asking Questions in Battleship with Language-Informed Program Sampling Authors Gabriel Grand, Valerio Pepe, Jaco
ACL 2022 主会长文论文分类整理
Kaiyuan_sjtu的博客
05-13 5886
© 作者｜蒋锦昊 机构｜中国人民大学高瓴人工智能学院研究方向 | 自然语言处理导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表：Accepted Papers...
HalluQA 开源项目使用教程
gitblog_00836的博客
09-02 372
HalluQA 开源项目使用教程 HalluQADataset and evaluation script for "Evaluating Hallucinations in Chinese Large Language Models"项目地址:https://gitcode.com/gh_mirrors/ha/HalluQA 1. 项目的目录结构及介绍 HalluQA 项目的目录结构如下： H...
大型语言模型的检索增强生成：机遇与挑战
步子哥的博客
06-21 842
大型语言模型（LLM）如ChatGPT和ChatGLM的出现，标志着人工智能领域取得了重大突破。它们展现出惊人的通用能力，能够胜任多种任务，例如文本生成、问答和翻译。然而，这些模型也存在一些固有的缺陷，例如以及。为了克服这些缺陷，应运而生。RAG通过将外部知识库与LLM结合，赋予模型更强大的信息获取能力，从而生成更准确、更可靠的答案。
HalluQA 开源项目教程
gitblog_00005的博客
09-02 218
HalluQA 开源项目教程 HalluQADataset and evaluation script for "Evaluating Hallucinations in Chinese Large Language Models"项目地址:https://gitcode.com/gh_mirrors/ha/HalluQA 项目介绍 HalluQA 是一个用于评估中文大型语言模型中幻觉现象（ha...
总结 | ACL2022主会论文分类整理
热门推荐
04-25 1万+
大家好，我是对白。ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。本文对ACL 2022接受列表中的的602篇主会长文论文，按不同的研究主题进行分类整理（分类标准参考 ACL 官方投稿主题），整理过程中难免有疏漏，欢迎大家在下方评论留言，交流探讨！论文列表已经同步更新到 GitHub，欢迎大家关注和 Star。目录Adversari
CLongEval: A Chinese Benchmark for Evaluating Long-Context Large Language Models
c_cpp_csharp的专栏
05-24 127
开发具有强大长上下文能力的大型语言模型（LLM）是近年来的研究热点，导致了精通汉语的长上下文LLM的出现。然而，由于缺乏基准，对这些模型的评估仍不完善。为了解决这一差距，我们提出了CLongEval，这是一个评估长上下文LLM的综合中文基准。CLongEval的特点有三个：（1）数据量充足，包括7个不同的任务和7267个例子；（2） 广泛的适用性，适用于上下文窗口大小从1K到100K的模型；（3） 高质量，除了自动构建的标签外，还有2000多个手动注释的问答对。
FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese Large Language Models
c_cpp_csharp的专栏
05-26 134
为了全面评估大型语言模型（LLM）的数学推理能力，我们需要仔细策划涵盖不同数学概念和不同难度的数学问题的评估数据集。为了实现这一目标，我们在本文中提出了FineMath，这是一个用于评估中文LLM的细粒度数学评估基准数据集。FineMath旨在涵盖小学数学中教授的主要关键数学概念，这些概念又分为17类数学单词问题，从而能够深入分析LLM的数学推理能力。根据解决这些问题所需的推理步骤的数量，手动注释所有17类数学单词问题的难度等级。
AC-EVAL: Evaluating Ancient Chinese Language Understanding in Large Language Models
c_cpp_csharp的专栏
05-24 33
鉴于古代汉语在捕捉丰富历史文化遗产精髓方面的重要性，大型语言模型（LLM）的快速发展需要能够有效评估其对古代语境理解的基准。为了满足这一需求，我们提出了AC-EVAL，这是一个创新的基准，旨在评估LLM在古代汉语背景下的高级知识和推理能力。AC-EVAL分为三个难度级别，反映了语言理解的不同方面：一般历史知识、短文本理解和长文本理解。该基准包括13项任务，涵盖历史事实、地理、社会习俗、艺术、哲学、古典诗歌和散文，提供了一个全面的评估框架。
【AI4Code】CodeX：《Evaluating Large Language Models Trained on Code》（OpenAI）
chadlee
07-18 1771
CodeX尝试了从头训练和基于GPT-3的参数fine-tuning，结果发现基于GPT-3的参数fine-tuning并没有取得效果上的提升，但基于GPT-3的参数fine-tuing可以收敛的更快，因此，论文中都采用的是这种训练策略。CodeX是在Github的159GB的代码文本上无监督的训练的，论文造了一个和HumanEval数据集格式一致的SupervisedFine-Tuning数据集，在这个数据集上fine-tuning后的模型效果更好。这点想的有点科幻了。...
如何开发主播美颜工具？直播美颜SDK的实现方案
最新发布
q1031691172的博客
09-04 224
由于直播场景对实时性要求极高，因此性能优化是美颜SDK开发的关键。开发者可以通过减少计算复杂度、优化算法效率、利用硬件加速等手段来提升性能。同时，还需在不同设备和操作系统上进行兼容性测试，确保SDK的广泛适用性。
Datawhale X 李宏毅苹果书AI夏令营 学习笔记
m0_61049596的博客
08-31 980
今天，我继续学习了深度学习中的优化算法，并且着重理解了如何利用。等高级优化器来提高模型训练的效率和效果。2024年8月30日。
YOLOV5入门教程-yolov5s.yaml文件
vimpirespider的博客
09-04 615
这段backbone共有9个层次，每个层次逐步提取图像特征并下采样。最后输出的特征图尺寸为40x40，通道数为1024。这个特征图包含了从输入图像中提取到的高层次特征，准备在后续的网络层中用于目标检测。
智能化升级：AI在客服知识库中的应用
LookLook同学的博客
09-03 984
探讨AI在客服知识库中的应用，提升效率与用户体验。
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
源泉的小广场
08-30 3989
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
a large-scale benchmark data set for evaluating pansharpening performance
09-22
"大规模基准数据集用于评估泛锐化性能"是一个用于评估图像泛锐化算法表现的数据集。泛锐化是一种图像处理技术，旨在通过将低分辨率的多光谱图像与高分辨率的全色图像融合，以产生具有较高空间分辨率和丰富光谱信息的图像。这种技术在许多遥感应用中都很有用，例如土地利用监测、资源管理和环境监测。 该数据集的规模大，包含了大量的多光谱和全色图像对，这些图像对均具有全面的注释和质量测量指标。这些图像对来自各种不同的遥感源，涵盖不同的场景和条件。数据集的构建过程经过精心设计，以保证评估结果的准确性和可靠性。 使用该数据集，研究人员和开发者可以对他们的泛锐化算法进行全面的评估和对比。他们可以将自己的算法应用于数据集中的图像对，并使用数据集中提供的注释进行性能评估。这些注释可以包括图像质量评价指标，如结构相似性指数（SSIM）和峰值信噪比（PSNR），或者一些更复杂的图像质量评价方法，如目标检测和目标分类任务的准确率。通过与其他算法进行比较，开发者可以了解他们的算法在不同场景和条件下的表现如何，并进一步改进和优化他们的方法。 "大规模基准数据集用于评估泛锐化性能"的建立为泛锐化算法的发展提供了一个公共的平台，促进了该领域的研究和进步。研究人员和开发者可以根据数据集中的结果和经验得出更好的算法和技术，进一步提高泛锐化算法在实际应用中的效果。这个数据集的存在为遥感图像处理的研究和应用带来了很大的推动力。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值