论文笔记：ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate

最新推荐文章于 2025-05-07 15:28:01 发布
最新推荐文章于 2025-05-07 15:28:01 发布
阅读量743 收藏 3
点赞数 6
分类专栏： 论文笔记 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/137228712
版权

ICLR 2024 最终评分 55666

1 背景

  • 文本评估通常需要大量的人力和时间成本
    • 随着LLM的出现，研究人员探索了LLMs作为人工评估替代方案的潜力
    • 基于单一代理的方法表现出潜力，但实验结果表明需要进一步的进展来弥合它们当前的有效性和人类级别的评估质量之间的差距
  • ——>论文采用了多agent辩论框架
    • 利用它们各自的能力和专业知识来提高处理复杂任务的效率和效果
    • 构建了一个名为ChatEval的多agent裁判团队，允许每个agent使用不同的沟通策略进行协作讨论，以制定最终判断
    • 为了丰富评估动态，ChatEval中的每个代理都赋予了独特的个性（persona）
      • ——>确保每个代理专注于不同的视角或带来特定的专业知识。
      • ——>通过这样做，集体评估从更全面的视角受益，捕捉单一视角可能忽略的细微差别

2 方法

  • 将每个LLM视为一个agent，并要求它们从给定的prompt中生成response。
  • 来自其他agent的response作为聊天历史记录，填入prompt template。

2.1 举例

最低0.47元/天 解锁文章
大语言模型应用指南：ChatEval
AI天才研究院
09-24 1063
大语言模型应用指南：ChatEval 关键词： 大语言模型 监督学习 微调 ChatEval 自动对话生成 自然语言处理 1. 背景介
CHATEVAL: TOWARDS BETTER LLM-BASED EVALUATORS THROUGH MULTI-AGENT DEBATE
c_cpp_csharp的专栏
08-28 583
文本评估在历史上提出了重大挑战，通常需要大量的人力和时间成本。随着大型语言模型（LLM）的出现，研究人员探索了LLM作为人类评估替代品的潜力。虽然这些基于单智能体的方法显示出了前景，但实验结果表明，还需要进一步的进步来弥补其目前的有效性和人类水平的评估质量之间的差距。认识到人类评估过程的最佳实践通常涉及多个人类注释器在评估中的协作，我们求助于多智能体辩论框架，超越了单一智能体的提示策略。基于多代理的方法使一组LLM能够与一系列智能同行协同工作，利用他们独特的能力和专业知识来提高处理复杂任务的效率和有效性。
ChatEval：通过多代理辩论提升LLM文本评估质量
qq_52053775的博客
07-09 265
对文本质量的评估，无论是源自语言模型还是人类编写，长久以来都构成了一项艰巨且备受瞩目的任务。传统的评估方法，主要依赖于人工标注，因其在时间和成本上的高昂投入而显得尤为苛刻。为了解决这一问题，已有基于n-gram的自动评估指标如Rouge、BLEU和METEOR等被提出。然而，这些方法在应对开放式文本生成或需要特定领域专业知识的场景中，与人类判断的契合度相对较低。
探索更智能的文本评估工具：ChatEval
gitblog_00064的博客
06-07 372
探索更智能的文本评估工具：ChatEval ChatEval项目地址:https://gitcode.com/gh_mirrors/ch/ChatEval ChatEval是一个创新的开源项目，旨在通过多代理辩论的方式优化大型语言模型（LLMs）的评估过程。利用LLMs自身的智能，ChatEval能够自主地比较和判断不同文本的质量，无需人工介入。这一自动化的过程不仅提高了效率，还增加了评估的透明...
ChatEval: 深度学习聊天机器人评估框架实战指南
gitblog_00292的博客
09-11 989
ChatEval: 深度学习聊天机器人评估框架实战指南 ChatEval 项目地址: https://gitcode.com/gh_mirrors/ch/ChatEval ...
ChatEval 使用教程
gitblog_00651的博客
09-11 329
ChatEval 使用教程 ChatEval 项目地址: https://gitcode.com/gh_mirrors/ch/ChatEval 欢迎来到 ChatEval ...
探索未来文本评价新境界：ChatEval深度解析与应用推荐
gitblog_00494的博客
09-11 498
探索未来文本评价新境界：ChatEval深度解析与应用推荐 ChatEval 项目地址: https://gitcode.com/gh_mirrors/ch/ChatEval ...
超越单兵作战：多智能体 Multi-Agent System (MAS)---多智能体框架实战
丨汀、的博客
07-10 2235
超越单兵作战：多智能体 Multi-Agent System (MAS)
2024年大模型多智能体workflow技术之Multi-Agent Debate，Acc-Debate，DebateTune，ChatEval，COEVOL，GroupDebate，CMD等
Learning from the mistakes
11-19 1416
总之debate能够提升数据的多样性，防止模型的幻觉，可以做事实性的校验等等，实现起来也很容易，对于debate策略的研究，目前集中在减少token消耗，提升效率，改进discussion和投票策略，使用debate策略构造优质的数据集，debate的方式进行训练等等。这个策略也不是完美的，比如，有研究表明，MAD方法存在认知限制的挑战，包括agents无法识别错误和轻易放弃正确观点等等。
ChatGPT成立一周年：开源大语言模型正在迎头赶上吗？
AIGCer的博客
12-04 1759
很多人已经开始慢慢依赖ChatGPT，把它当成了私人助理，很多问题都会咨询它的建议。但也担心这个助理随时可能会消失的无影无踪，尤其是最近遇到网站打不开，以及CEO Sam Altman被解雇、员工抗议董事会，最终以Altman回归结束等这样戏剧性的不可预测的事件。那如何找到替代者？ ChatGPT在2022年底发布后，在AI领域产生了巨大的变革，不论是在学术研究还是商业方面都有所体现。通过使用监督微调和从人类反馈中进行强化学习来调整大型语言模型（LLM），ChatGPT展示了模型能够在广泛的任务中回答人类
application:神经开放域聊天机器人模型的仓储和评估平台
03-26
ChatEval 用于评估神经开放域聊天机器人的科学框架。 依存关系 Django（Web框架） Bulma（CSS框架） MySQL（数据库） Amazon S3（数据集存储） 幅度（词嵌入格式） 用法 （可选）Docker安装 ChatEval支持将Docker用作开发和部署工具。 安装 。 通过为每个环境变量添加ENV variable value ，在Dockerfile配置环境变量。 通过使用docker build -t chateval .构建Docker映像docker build -t chateval . （这可能要花点时间）。 使用docker run chateval run chateval在端口8000上docker run chateval 访问位于localhost：8000的应用程序和位于localhost：8000 / admin的a
LLM论文周报｜来自谷歌、Meta AI、香港中文大学等机构前沿论文研究
AI_Conf的博客
08-21 445
大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。
【论文阅读】HunyuanVideo: A Systematic Framework For Large Video Generative Models
最新发布
xianshuiyihui的博客
05-07 793
Hunyuan Video论文详解
【论文阅读26】贝叶斯-滑坡预测-不确定性
wangshangshang09的博客
05-01 1179
本文构建了一个综合性的边坡破坏数据库，提出了一种基于贝叶斯机器学习（BML）的方法，用于学习SFT预测中的模型与观测不确定性，从而获得SFT的概率分布。文中通过算例详细说明了该方法的实施过程。验证性研究表明，所提出的BML方法在SFT预测精度上优于传统的反速率法（INVM）与最大似然法。该方法为边坡破坏时间预测提供了一种有效的技术手段。
[论文阅读]MCP Guardian: A Security-First Layer for Safeguarding MCP-Based AI System
m0_52911108的博客
05-06 980
MCP Guardian 不要求开发人员直接在每个工具服务器中嵌入安全检查，而是通过覆盖 MCP 中的 invoke_tool 方法拦截所有调用。这种设计选择可确保对现有 5 个代码库的干扰降到最低，同时为身份验证、授权、速率限制、请求监控和 Web 应用程序防火墙 (WAF) 扫描提供一个中央控制点。安全性：MCP Guardian 有效阻止了未经授权的令牌、恶意命令（如 drop table、rm -rf /）和过高的请求率，展示了其在处理常见攻击模式和资源滥用方面的稳健性。
【论文阅读】Harnessing the Power of LLM to Support Binary Taint Analysis
网络空间安全|人工智能|计算机科学
05-07 1129
研究背景软件测试与漏洞检测现状：软件测试是保证软件质量的主要方法，但无法确保无漏洞。二进制漏洞可能被利用，引发网络攻击，第三方安全审计及静态二进制污点分析成为保障软件安全的重要手段。静态二进制污点分析概述：该分析通过识别污点源、传播污点标签、检查漏洞点来检测漏洞，然而其部分流程依赖人工，规则设计复杂且易出错。LLMs的应用潜力：LLMs在代码理解方面有优势，如代码生成和总结，但应用于二进制漏洞检测存在提示工程和代码上下文编码等挑战。LATTE设计整体思路。
【论文笔记】SOTR: Segmenting Objects with Transformers
Word_And_Me_的博客
05-05 1146
【题目】：SOTR: Segmenting Objects with Transformers【引用格式】：Guo R, Niu D, Qu L, et al. Sotr: Segmenting objects with transformers[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2021: 7157-7166.【网址】：https://openaccess.thecvf.com/cont
LLM论文笔记 28: Universal length generalization with Turing Programs
m0_65305142的博客
05-04 660
通过将算法任务分解为逐步的“磁带更新”（类似图灵机的读写操作），允许模型通过简单的文本复制与局部修改完成复杂计算。：每一步仅对磁带的局部内容进行修改（如更新某一位的数字或进位），而非完全重写。注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。：模型在未见过的更长输入（50→100+ token）上能预测图灵机的下一步状态，表明其对任意算法任务的泛化潜力。需进一步探索更高效、通用的训练框架，以支持复杂现实任务的长度泛化。
DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
02-14
### DeepSeekMoE 实现极致专家专业化 在 Mixture-of-Experts (MoE) 语言模型中，DeepSeekMoE 致力于实现专家的极致专业化。为了达到这一目标，该研究引入了一种新颖的方法来处理专家之间的知识共享和隔离问题。 #### 共享专家隔离机制 分配给不同专家的 token 可能需要一些共同的知识，这可能导致多个专家在其参数中收敛于相同的共享知识，进而造成专家参数的冗余[^2]。为了避免这种冗余并提高参数效率，DeepSeekMoE 设计了一个特殊的共享专家子集。这些共享专家始终处于激活状态，负责捕捉和整合跨上下文的通用知识。因此，其他路由专家可以专注于更特定的任务，减少了重复学习的可能性，提升了整体模型性能和资源利用效率。 #### 极致专家专业化策略 除了上述提到的共享专家外，DeepSeekMoE 还采用了多种技术手段促进各领域内专家的专业化程度： - **动态调整门控网络**：通过优化门控函数的设计，使得每个输入样本能够被最合适的少数几个专家处理，而不是平均分布到所有可用专家上； - **自适应训练方案**：根据不同阶段的学习需求灵活改变损失权重以及正则项强度等因素； - **多任务联合训练框架**：鼓励各个专精方向上的专家不仅要在单一目标任务上有出色表现，在辅助任务方面也需具备一定能力，以此增强泛化性和鲁棒性。 ```python def dynamic_gating_network(input_tensor, expert_weights): """ 动态调整门控网络示例 参数: input_tensor: 输入张量 expert_weights: 各位专家对应的权值向量 返回: selected_experts_indices: 被选中的几位专家索引列表 """ scores = tf.matmul(input_tensor, expert_weights) top_k_values, top_k_indices = tf.nn.top_k(scores, k=3) return top_k_indices.numpy().tolist() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值