vectara-HHEM 模型幻觉评估

已于 2025-05-21 10:58:14 修改
阅读量7.1k 收藏 15
点赞数 7
分类专栏： 大模型 文章标签： HHEM 人工智能 大模型
于 2025-05-21 10:51:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DK_Allen/article/details/148106740
版权

一、介绍

HHEM 排行榜评估LLM在总结文档时引入幻觉的频率，使用 HHEM-2.1(商业版) 幻觉检测模型。

排行榜地址: https://huggingface.co/spaces/vectara/leaderboard

github地址: https://github.com/vectara/hallucination-leaderboard

HHEM-2.1 开源版本(HHEM-2.1-Open): https://huggingface.co/vectara/hallucination_evaluation_model

二、使用

排行榜使用的测试数据集地址: https://huggingface.co/datasets/vectara/leaderboard_results，其中 source 为问题，summary 为各模型的回答。对于单个模型，使用 1006 个问题用于测试。

原始数据集: 📎leaderboard_summaries.csv, 使用脚本抽取 1006 个测试问题，并保存成 jsonl 格式文件，用于后续使用模型获取答案。jsonl 文件包含字段 source,model_answer(为空)，脚本如下:📎抽取数据集.py,抽取完成后的文件如下:

最低0.47元/天 解锁文章
博客
JavaScript性能优化实战
06-01 2286
本文总结了前端性能优化的关键策略：1.核心目标为提升加载速度、减少卡顿和内存消耗，重点关注FCP/TTI指标，使用Lighthouse等工具检测瓶颈。2.优化手段包括：代码层面采用模块化、批量DOM操作和高效循环；资源加载使用预加载/延迟、压缩和CDN；内存管理注重事件/定时器清理；渲染优化通过硬件加速和虚拟滚动实现。3.建议建立持续监控机制，集成性能预算和自动化测试，并探索WebWorkers、ServiceWorker等进阶方案。通过多维度优化可显著提升用户体验。
博客
等保测评共性问题v2
06-01 2006
本文摘要针对Linux系统（RedHat/CentOS）提出了一套完整的安全测评框架，涵盖身份鉴别、访问控制、安全审计等12个安全控制域。在身份鉴别方面，要求配置密码复杂度、登录失败锁定、SSH加密传输及双因子认证；访问控制层面强调最小权限原则、默认账户管理及SELinux配置；安全审计需确保日志完整性保护与进程防护；入侵防范包含最小化安装、端口管控及漏洞修补机制。同时规范了数据保护措施（加密传输/存储、剩余信息清理）、备份恢复策略（本地/异地备份、热冗余）及可信验证要求。对于无法完全满足的条款（如异地实时
博客
YApi 可视化接口管理平台
06-01 2566
YApi 是高效、易用、功能强大的 api 管理平台，旨在为开发、产品、测试人员提供更优雅的接口管理服务。可以帮助开发者轻松创建、发布、维护 API，YApi 还为用户提供了优秀的交互体验，开发人员只需利用平台提供的接口数据写入工具以及简单的点击操作就可以实现接口的管理。
博客
MySQL主从数据同步配置
05-30 4384
MySQL库表同步配置步骤：先停备库导出数据，修改my.cnf配置同步信息。使用mysqldump导出SQL时添加--master-data参数获取binlog位置，执行CHANGE MASTER TO指定同步起点（如MASTER_LOG_FILE='mysql-bin.000136', MASTER_LOG_POS=154）。注意过滤不需要同步的表（如sys_log），最后启动同步（start slave）。关键参数包括--single-transaction保持事务一致性，-E导出事件，-R导出存储过程
博客
PSSH-并发在多台服务器上批量执行命令的工具
05-30 4802
摘要： pssh（parallel-ssh）是一个Python编写的多服务器批量管理工具，支持并行执行命令、文件传输和进程管理。使用前需配置SSH密钥认证：1）生成RSA密钥对；2）整合公钥为authorized_keys；3）分发到远程主机；4）测试连接。安装步骤包括下载ez_setup.py和pssh包，通过Python进行编译安装。常用功能：pssh执行命令、pscp传输文件/目录、pslurp拉取远程文件到本地（按IP自动归类）、pnuke终止远程进程。注意操作时需明确服务器登录方式和权限。
博客
OMAHA知识图谱数据对接
05-30 5045
GraphRag在知识图谱问答中相比传统RAG具有显著优势，能够通过共享属性连接离散信息点，提供更精准的综合答案。但其仅支持txt/csv/json格式，需预先转换文档，且存在构建成本高、响应速度慢的问题。测试使用OMAHA医疗领域样例数据，对比了HugeGraph、JanusGraph、Neo4j等图数据库的选型特点，其中Neo4j采用Cypher查询语言并提供完善文档支持。整体而言，GraphRag技术虽在语义理解上表现优异，但目前仍存在格式兼容性和性能瓶颈等局限。
博客
钉钉通过机器人发送卡片消息
05-30 4706
本文介绍了钉钉企业机器人的创建与互动卡片应用开发流程：首先在开放平台创建应用并添加机器人能力，随后搭建互动卡片模板；接着详细说明了通过API推送互动卡片到群组或个人的方法，包括获取accessToken、创建群组等关键步骤；最后阐述了机器人消息监听机制，区分了单聊和群聊场景下的消息收发限制，并提及了医疗场景下的实际应用案例。整个过程涵盖了从创建到应用的企业机器人开发全流程。
博客
钉钉机器人发送卡片消息
05-30 4502
钉钉开放平台提供了机器人发送互动卡片的API接口，开发者可通过获取企业accessToken后调用相关接口实现功能。关键注意事项包括：使用新参数时需生成新的outTrackId以确保更改生效，该ID作为卡片幂等标识可用于更新或群发同一卡片。同一cardBizId重复发送时将保持与原卡片数据一致。参考文档和demo代码可帮助开发者快速集成该功能。
博客
医疗大模型评估概念解释
05-30 4893
医疗模型测评关键指标解析 在医疗AI模型中，**召回率（Recall）是核心指标，衡量模型识别真实患者的能力（召回率=TP/(TP+FN)）。高召回率对避免漏诊至关重要，尤其在重症筛查中常需超过85%。与之平衡的精确率（Precision）**反映预测阳性的可靠性（TP/(TP+FP)），用于减少误诊。**准确率（Accuracy）**易受数据不平衡影响，需谨慎使用。 F1-score调和精确率与召回率，适用于需平衡误诊/漏诊的场景（如慢性病筛查）。AUC-ROC则评估模型整体区分能力（AUC>0.9
博客
蒸馏模型诊断及治疗评估方案
05-30 4978
医疗模型的测评大体包括准确性、鲁棒性、安全性、数据隐私、临床适用、医疗合规等方面
博客
vectara-HHEM 模型幻觉评估
05-30 4642
本文介绍了HHEM排行榜评估大语言模型(LLM)文档总结幻觉率的方法。使用HHEM-2.1商业版和开源版检测模型，对1006个测试问题进行评估。实验比较了Qwen3-32B模型在思维模式(6.5%幻觉率)和非思维模式(3.9%幻觉率)下的表现，以及在线Qwen3-32B(4.9%)和Qwen3-8B(3.4%)的表现。通过transformers库加载评估模型，以0.5为阈值计算幻觉率，值越小表示幻觉概率越高。相关数据集和脚本已在HuggingFace和GitHub开源。
博客
模型测评-排行榜
05-30 5055
本文介绍了多个中文大语言模型评估平台的使用方法。主要包括：1）C-Eval评估套件，提供数据集下载和测评脚本，支持本地运行评估并提交结果；2）OpenCompass司南平台，要求模型上传至Huggingface或ModelScope后提交评估；3）CMB医疗评测基准，需配置环境后运行测试脚本；4）MedBench数字化测评平台；5）MEDIC医疗专用评测。文中详细说明了各平台的数据获取、环境配置、测试执行和结果提交流程，并展示了Qwen2.5-32B-Instruct模型在多个评测中的表现。这些评估体系涵盖
博客
DPO参数
05-30 5217
DPO参数解析摘要 DPO（Direct Preference Optimization）通过对比偏好数据优化模型，核心参数包括： pref_beta（默认0.1）：控制偏好强弱的超参数。β越大，模型对偏好差异越敏感（如β=1时更激进，β=0.1更温和）。 pref_loss：损失函数类型，可选： sigmoid（默认）：平滑优化偏好差异，适合多数场景； hinge：硬间隔分类，收敛快但可能不稳定。 pref_ftx（默认0）：是否混合SFT损失（1=启用），用于稳定训练或防止风格偏离。 示例：若chose
博客
数据预处理组件、标注技术选型
05-30 4693
开源数据预处理与标注工具对比分析 本文对比分析了两种数据预处理方案：基于Langflow的方案具有易用性优势，但存在任务调度、并发执行和资源管理不足的问题；Apache Airflow则提供了专业的工作流编排能力，适合技术人员使用。同时介绍了Label Studio标注工具及其与LangChain的集成方案。两种方案各具特点：Langflow适合快速开发，Airflow适合复杂流程管理。标注环节可采用Label Studio实现，并与LangChain生态结合。整体呈现了从数据预处理到标注的完整技术选型思路
博客
xinference的docker安装
05-28 6666
xinference的docker安装
博客
xinference conda安装
05-28 7038
本文介绍了Conda环境配置与Xinference安装部署流程。主要内容包括：1) Conda安装与环境变量配置，使用清华镜像源优化下载；2) 创建Python 3.11虚拟环境并安装依赖包；3) Xinference环境设置，包括GPU可用性检测及PyTorch版本调整；4) Xinference服务的三种启动方式；5) 模型下载方法，通过Web GUI界面管理。文档详细说明了从环境搭建到服务部署的全过程，并针对常见问题（如GPU驱动兼容性）提供了解决方案。
博客
MinerU 部署
05-28 6951
MinerU部署指南摘要：需创建Python3.10的conda环境，安装指定版本的PyTorch(2.3.1+cu121)等依赖库。通过pip安装magic-pdf[full]工具(版本>0.7.0)，并下载模型文件。支持CPU/GPU运行模式，需在magic-pdf.json中配置设备类型。GPU加速模式下OCR处理速度可达CPU的10倍以上。系统兼容Linux和Windows，默认用户目录分别为/home/用户名和C:/Users/用户名。
博客
Firewalld常用命令
05-28 6653
Firewalld 常用命令
博客
RabbitMQ消息服务部署
05-28 6698
本文详细介绍了RabbitMQ在Linux环境下的安装配置流程。主要内容包括：1）通过rpm包安装Erlang和RabbitMQ；2）解决依赖问题的方案（更换阿里云yum源）；3）基本服务管理操作（启动、状态查看等）；4）用户权限配置（删除默认用户、创建管理员）；5）开启web管理界面；6）防火墙端口设置。文档提供了完整的命令行操作步骤，涵盖了从安装到运维的关键环节，适合作为RabbitMQ服务器的部署参考指南。
博客
Dragonfly+Harbor部署集成
05-28 7334
摘要：Dragonfly是阿里开源的一款基于P2P技术的镜像分发系统，已加入CNCF孵化。其核心组件包括Host（运行客户端的主机）、Peer（下载相同文件的Host）、dfget（下载程序）和SuperNode（调度节点）。工作原理类似BT下载，SuperNode从源获取文件分片并调度Peer间传输，支持断点续传和MD5校验。部署时需配置SuperNode和dfclient，可通过容器快速搭建测试环境。与Harbor集成时需修改Docker配置，支持镜像预热功能，显著提升大规模集群的镜像分发效率。实测表明
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值