大模型幻觉率测评工具

于 2025-05-21 10:53:14 发布
阅读量3.6k 收藏 14
点赞数 18
分类专栏： 大模型 文章标签： 人工智能 大模型测评
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DK_Allen/article/details/148106774
版权
1.OpenCompass（试用时发现，官网报错不可使用）

OpenCompass是一个LLM评估平台，支持80多个数据集的各种模型（LLaMA、LLaMa2、ChatGLM2、ChatGPT、Claude等）。

OpenCompass司南 - 评测榜单

使用文档：

https://zhuanlan.zhihu.com/p/669291064

可以在线评估：

支持不同的测试集，也可以新建自己的模型及数据集（数据集支撑私有不公开）但是个人试了一下，用自己的数据集，页面报错，执行不下去。

2. ANAH-V2（已排除不可用）

上面提到的工具使用的幻觉测试的基准： ANAH-V2 （旨在通过涉及幻觉的基准测试、检测和缓解的研究来减少 LLM 中的幻觉）

GitHub - open-compass/ANAH: [ACL 2024] ANAH & [NeurIPS 2024] ANAH-v2 & [ICLR 2025] Mask-DPO

最低0.47元/天 解锁文章
博客
二维码支付概念及原理
05-23 2463
详细介绍了二维码支付的发展历程和概念。作者提到，银联在2016年推出了自有二维码支付产品，并逐步升级为独立的支付平台。文章还解释了主扫和被扫的概念，以及C2B码的结构和用途。
博客
Clickhouse的部署及使用指南
05-23 2777
ClickHouse是由俄罗斯Yandex公司开发的开源列式存储数据库，专为在线分析处理（OLAP）设计，支持高效的SQL查询和实时数据分析。与传统的行式存储不同，列式存储将数据按列组织，特别适合处理大规模数据分析任务，能够显著减少查询时的数据扫描量。ClickHouse具备高吞吐写入能力、数据分区与线程级并行处理等特性，支持多种表引擎（如MergeTree、ReplacingMergeTree等），适用于处理结构化的不可变数据流，如日志和事件数据。它不适用于事务性工作负载（OLTP）或高并发的键值查询。C
博客
MedBench评测平台
05-23 2386
MedBench是一个专注于中文医疗大模型评测的开放平台，旨在通过科学、公平和严谨的评测体系，全面评估大模型在医疗领域的各项能力。该平台提出了五大评测维度：医学语言理解、医学语言生成、医学知识问答、复杂医学推理以及医疗安全和伦理。每个维度下设有具体的测试任务，如医学信息抽取、医学术语标准化、医学文本分类、电子病历生成、医学考试、临床问诊、医学伦理考题等。MedBench基于权威医学标准，持续更新高质量医学数据集，并通过多维度量化模型能力，确保评测的全面性和准确性。评测数据集的生成和评测指标的设定均经过精心设
博客
Unsloth 微调训练
05-22 2445
Unsloth 是一个高效的语言模型微调工具，支持全微调、预训练以及4-bit、8-bit和16-bit的训练。其内核采用OpenAI的Triton语言编写，并配备了手动反向传播引擎，确保精确度无损失。Unsloth兼容2018年及以后的NVIDIA GPU，最低要求CUDA能力7.0，支持Linux和Windows系统。通过Bitsandbytes，它还支持4位和16位的QLoRA/LoRA微调。安装简便，推荐使用pip安装。Unsloth提供了详细的文档和高级安装说明，用户可以通过GitHub和CSDN
博客
阿里PAI平台使用指南
05-22 3187
阿里云PAI平台提供全面的AI开发与部署服务，涵盖数据标注、模型开发、训练、部署及AI应用场景。数据标注服务PAI-iTAG支持多模态数据标注，提供全托管外包服务。模型开发方面，PAI-ModelGallery和PAI-QuickStart集成多种预训练模型，支持零代码开发。交互式建模PAI-DSW和可视化建模PAI-Designer分别提供编程环境和低代码开发工具。模型训练服务PAI-灵骏和PAI-DLC支持大规模分布式训练。模型部署服务PAI-EAS和PAI-Blade优化推理性能。AI应用场景包括AI
博客
模型能力对比-四（训练模型基于Qwen2.5-14B-Instruct模型+huatuo17k原数据+deepseek诊断与其他模型分数测评）
05-22 2934
训练模型（基于Qwen2.5-14B-Instruct模型+huatuo17k原数据+deepseek诊断）与其他模型分数测评
博客
模型能力对比-三（训练模型基于Qwen2.5-14B-Instruct模型+huatuo17k原数据+deepseek诊断测评）
05-22 2894
训练模型（基于Qwen2.5-14B-Instruct模型+huatuo17k原数据+deepseek诊断）测评
博客
模型能力对比-二（deepseek、baichuan-M1等）
05-22 2924
本研究对五种基于GPT的医疗模型（ChatGPT、Qwen2.5-14B-Instruct、Baichuan-M1-14B-Instruct、DeepSeek-R1-Distill-Qwen-14B、DeepSeek-V2-Lite-Chat-16B）进行了测评，使用高铁医疗仿真数据作为测试集。测评内容包括模型生成数据的准确性、诊断的合理性及建议的实用性。结果显示，GPT和DeepSeek-R1-Distill-Qwen-14B在诊断全面性和准确性上表现最佳，其次是DeepSeek-V2-Lite-Chat
博客
模型能力对比-一（deepseek、baichuan-M1等）
05-22 3254
deepseek、baichuan-M1等模型能力对比
博客
使用HealthBench基准测评医疗模型方案
05-21 3936
要使用HealthBench评估蒸馏后的医疗模型，首先需了解HealthBench，它是一个评估医疗大语言模型的标准基准，涵盖六大任务：医学问答、摘要、医学推理、放射学报告生成、医学对话和医学事实验证。评估步骤包括克隆HealthBench仓库、安装依赖、准备模型接口、运行任务测试并查看结果。技术集成方面，如果使用Transformers模型，可封装成特定函数进行调用。额外建议包括与主流模型比较表现，关注幻觉率，并利用HealthBench任务脚本作为模板。HealthBench的测评标准可能不完全符合辅助
博客
vectara-HHEM 模型幻觉评估
05-21 3885
HHEM排行榜用于评估大型语言模型（LLM）在文档总结任务中引入幻觉的频率，使用HHEM-2.1幻觉检测模型进行评测。排行榜和相关资源可在Hugging Face和GitHub上获取。测试数据集包含1006个问题，模型生成的答案通过HHEM-2.1模型进行幻觉率评估，值越小表示幻觉概率越高。实验评估了Qwen3-32B模型在思维模式和非思维模式下的幻觉率，结果显示非推理模型的幻觉率为3.9%，推理模型为6.5%。此外，在线版本的Qwen3-32B和Qwen3-8B模型的幻觉率分别为4.9%和3.4%。
博客
Fay数字人搭建教程
05-21 3572
本文提供了在Windows 10及以上系统上，使用Nvidia RTX 3060显卡搭建UE数字人模型的详细步骤。首先，从GitHub下载并解压Fay-UE5工程。接着，安装Epic Games Launcher并下载Unreal Engine 5.0.3版本，确保硬盘有60GB空余空间。随后，在Epic Games Launcher中安装必要的插件，如BlueprintWebSockets和MetaHumanSDK等。此外，还需安装Visual Studio 2019，并选择“使用C++的桌面开发”工作负
博客
金融市场基础知识——第五章 债券
05-20 4077
金融市场基础知识——第五章 债券
博客
金融市场基础知识——第三章 证券市场主体
05-20 4314
金融市场基础知识——第三章 证券市场主体
博客
金融市场基础知识——第三章 证券市场主体
05-20 4123
金融市场基础知识——第三章 证券市场主体
博客
金融市场基础知识——第一章 金融市场体系
05-20 4273
金融市场基础知识——第一章 金融市场体系
博客
证券从业资格证学习课程及考试介绍
05-20 4812
证券从业资格证及学习、课程考试流程介绍
博客
C-eval python数据处理
05-19 4743
本文介绍了两个Python脚本，用于处理C-Eval数据集。第一个脚本C-eval-data-csv-json.py将CSV格式的C-Eval开发集转换为JSON格式的训练集。它读取指定目录下的JSON文件，提取问题、选项和答案，并将其格式化为包含指令、输入和输出的JSON对象，最终保存为ceval-dev.json文件。第二个脚本C-eval-result-submit.py将C-Eval测试结果转换为提交格式。它读取测试结果文件，提取答案并按文件名称和索引组织数据，最终保存为ceval-result.j
博客
百川大模型（Baichuan-13B-chat）部署训练文档
05-19 5580
本文介绍了在本地环境中安装Anaconda、配置CUDA和PyTorch的步骤，以及如何在Web端部署和微调大模型。首先，需安装Anaconda3和适配的CUDA版本，并确保PyTorch与CUDA版本匹配。接着，通过Streamlit部署Web应用，并安装必要的依赖如bitsandbytes和transformers。在微调部分，使用LLaMA Efficient Tuning工具进行LoRA微调，包括配置数据集、设置训练参数和启动训练。训练过程中，监控损失函数曲线以评估模型收敛情况。最后，通过预测和评估
博客
SFT监督微调
05-19 3122
本文介绍了如何使用预训练深度学习模型进行监督微调（Supervised Fine-Tuning, SFT），以优化模型在特定任务上的表现。微调过程涉及在有标签的数据集上训练模型，通过最小化预测结果与真实标签之间的差异来调整模型参数。关键步骤包括选择合适的数据集、设置训练参数（如学习率、批次大小、训练轮数等），以及使用特定的微调技术（如LoRA）。此外，文章还详细说明了如何通过命令行参数配置训练过程，包括模型路径、输出目录、日志记录和模型保存频率等。通过这种方式，可以在有限的计算资源下高效地进行模型微调，同时
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值