NIPS2023 | 评估大语言模型的事实性

于 2023-12-10 14:54:18 发布
阅读量145 收藏
点赞数
文章标签： 语言模型 人工智能 自然语言处理
原文链接：https://mp.weixin.qq.com/s?__biz=MzI3ODgwODA2MA==&mid=2247524497&idx=3&sn=99f8ea8f6ebf91ee5229cb69f0ea7623&chksm=ea4fc1adae4153635e4b5084eb2dfeb60e8b6fc6a4d18ddbdd5e7fdd7a03e6d42c786f061067&scene=126&sessionid=0
版权

评估大语言模型的事实性

陈适琪

香港城市大学博士生

FELM: Benchmarking Factuality Evaluation of Large Language Models - NeurIPS 2023

备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群

f5f2a17655fe6710e5354a46f8fe77ca.png

id：DLNLPer，记得备注呦

zenRRan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
NIPS2017:CNN神经系统识别模型
03-11
用于神经类型识别的CNN模型这是本文的代码存储库（引用为）： Klindt，D.，Ecker，A.，Euler，T.＆Bethge，M.（2017年）。 分离“什么”和“哪里”的大量人群的神经系统识别。 神经信息处理系统进展。 [Arxiv]要求：...
大规模语言模型人类反馈对齐--RLHF
Hanscal
10-16 358
大规模语言模型在进行监督微调后， 模型具备了遵循指令和多轮对话的能力， 具备了初步与用户进行对话 的能力。然而， 大规模语言模由于庞大的参数量和训练语料， 其复杂性往往难以理解和预测。当这些模型被部署 时， 它们可能会产生严重的后果， 尤其是当模型变得日渐强大、应用更加广泛、并且频繁地与用户进行互动。因 此，研究者追求将人工智能与人类价值观进行对齐， 提出了大语言模型输出的结果应该满足帮助性 (Helpfulness)、 真实性 (Honesty) 以及无害性 (Harmless) 的 3H 原则。
从NeurIPS2023速览大语言模型智能体最新研究进展
Kaiyuan_sjtu的博客
10-11 381
引言长期以来，自主代理一直是学术界和工业界的一个突出研究重点。该领域的先前研究通常集中在孤立环境中训练知识有限的代理，这与人类的学习过程有很大不同，因此代理难以实现类似人类的决策。最近，通过获取大量的网络知识，大型语言模型（LLM）在实现人类水平的智能方面显示出显着的潜力。这引发了基于LLM的自主代理的研究热潮。本文将通过NIPS2023录用的22篇相关论文来速览大语言模型智能体的最新研究进展。本...
大语言模型: 新的摩尔定律？
zenRRan的博客
02-21 328
来自：Hugging Face进NLP群—>加入NLP交流群译者按: 最近一段时间，ChatGPT 作为一个现象级应用迅速蹿红，也带动了对其背后的大语言模型 (LLM) 的讨论，这些讨论甚至出了 AI 技术圈，颇有些到了街谈巷议的程度。在 AI 技术圈，关于 LLM 和小模型的讨论在此之前已经持续了不短的时间，处于不同生态位置和产业环节的人都有表达自己的观点，其中不少是有冲突的。大模型的研究...
论文导读 | 使用预训练语言模型作为知识库的可能性
weixin_48167662的博客
03-18 1443
引言 近年来，预训练语言模型在NLP领域展现出了强大的能力而被广泛采用，成为了解决NLP问题的“银弹”。借助大规模数据集、以Transformer为代表的深度神经网络模型、以及设计好的自监督预训练（pre-train）任务，预训练语言模型展现出了强大的泛化能力，经过微调（fine-tune）后在各个下游任务中得到了优秀的成果，其强大性能让人对其学习到的内容产生了兴趣：预训练语言模型是否真的在预训练过程中学习到了“知识”呢？ 最近也有工作提出了prompt范式，通过构建的prompt语句，将特定的下游
大模型幻觉评估方法——忠实性（Faithfulness）与事实性（Factuality）
夏栀的博客
07-20 2263
在本篇文章中，我们首先通过一篇早期工作讨论了忠实度和真实度的含义是什么。然后，我们综述了评估文本摘要忠实度/真实度/一致性的各种方法。可以看到不管是对于不同任务还是不同评价维度，较为普遍的趋势是趋向于大而统一：更大的元评估实验设定、更多的预训练、更大的模型、更统一的视角，等等等等。当下，GPT-4的出色表现引起热议，但是似乎构建更可控、可解释、鲁棒的文本生成指标仍然是一个开放问题，还有很长的路要走。下篇文章中，我们会探讨一下提升近期文本摘要的忠实性的相关工作。
【NLP】神经网络语言模型（NNLM）
让算法融入生活，改变生活！
10-06 1192
背景 语言模型也经常会在NLP中提出。在深度学习大行其道的今天基于神经网络的语言模型与传统定义的又有什么区别呢？语言模型在NLP中有什么意义呢？不妨沉下心，了解一下。 语言模型是一个单纯的、统一的、抽象的形式系统，语言客观事实经过语言模型的描述，比较适合于电子计算机进行自动处理，因而语言模型对于自然语言的信息处理具有重大的意义。换一句话说，语言模型其实就是看一句话是不是正常人说出来的正常的话。语言模型在信息检索、机器翻译、语音识别中担任着重要的任务。比如机器翻译、语音识别得到若干候选之后，可以利用语言模型挑
大模型相关技术综述
liangwqi的博客
02-15 9770
大模型相关技术综述
2021年预训练语言模型及微调的最新进展
lqfarmer的博客
09-19 948
对预训练语言模型（LM）进行微调已成为在自然语言处理中进行迁移学习的事实上的标准。在过去的三年中（Ruder，2018），微调（Howard＆Ruder，2018）取代了预训练embedding特征提取的使用（Peters等人，2018），而预训练语言模型则受到青睐，由于提高了样本效率和性能（Zhang和Bowman，2018），因此模型对翻译（McCann等，2018），自然语言推理（Conneau等，2017）和其他任务进行了训练。这些方法的经验成功导致开发了更大的模型（Devlin等，20...
机器学习模型可解释性的详尽介绍
热门推荐
Datawhale
11-20 1万+
机器之心平台来源：腾讯技术工程模型可解释性方面的研究，在近两年的科研会议上成为关注热点，因为大家不仅仅满足于模型的效果，更对模型效果的原因产生更多的思考，这样的思考有助于...
nips 数据集
04-04
一个常用的机器学习数据集。可以用来做自然语言处理，流形对齐等工作。
mmdgm:“最大保证金深度生成模型”（NIPS15）的代码
05-06
NIPS 2015论文的最大保证金深度生成模型（MMDGM）代码李崇轩，朱骏，石天林和张博，神经信息处理系统（NIPS15）中的最大余量深度生成模型研究进展，蒙特利尔使用此代码进行研究时，请引用本文。 有关问题和错误报告...
nostr nips中文翻译
02-13
最近火起来的nostr协议，做了个简单的中文翻译
强化学习Nips2020论文下载
11-16
总共178篇，基本涵盖了20年NIps上所有与强化学习相关的文章。 zip压缩包，不要解压密码，261M大小。 看一看顶会论文怎么写的，自己下笔也大概能有个章法，Good Luck！ 勤奋决定天分！
PLMpapers：关于预训练语言模型的必读论文
02-21
预先训练的语言模型（PLM）是NLP中非常受欢迎的主题。 在此仓库中，我们列出了一些有关PLM的代表性工作，并通过图表显示了它们之间的关系。 随时分发或使用它！ 如果要在演示文稿中使用它，则可以获取该图的源PPT...
RankGan-NIPS2017:RankGan（语言生成的专业排名）的Tensorflow实现
05-13
语言生成的对抗排名介绍这是Kevin Lin * ，Dianqi Li * ，何小东，张正有，孙明廷，NIPS 2017的的张量流实现。环境该代码基于python2.7和tensorflow 1.2版本。 该代码是使用一个NVIDIA M40 GPU开发和测试的。跑步...
NIPS会议文章信息数据（1987-2017）数据集
07-02
数据包含了1987年到2017年NIPS学术会议中所有论文的标题、作者、摘要和提取文本，数据从PDF文档中抽取得到。
专栏《NLP算法实战》中第9部分《大模型Transformer》的所有配套源码
最新发布
04-24
Transformer模型是一种用于自然语言处理和其他序列到序列任务的深度学习模型，最早由Google的研究人员在2017年提出，并在NIPS（Neural Information Processing Systems）会议上发表了题为《Attention is All You ...
nips和nids是什么
08-24
尽管NIPS和NIDS在功能上有所不同，但它们的目标都是提高网络安全性。通过实时监测和分析网络流量，NIPS和NIDS可以帮助组织及时发现入侵行为，并采取必要的措施来保护网络免受攻击和数据泄露的威胁。这些系统在企业和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值