深入研讨语言模型中知识的生命周期，ACL 2024 Workshop征稿启动

简介

知识一直是各种自然语言处理（NLP）应用的重要前提条件，通常来源于结构化知识源（如知识库和词典）或非结构化知识源（如维基百科文档）。最近，研究人员发现，语言模型通过预训练已经拥有了大量知识：大型语言模型（LLMs）可以用来生成常识性知识和问题回答的事实知识背景。尽管结果令人鼓舞，但仍有一些悬而未决的问题： 

• 这些知识从何而来？

• 语言模型知道多少？我们如何量化知识的数量？

• 这些知识可靠吗？LMs是否自知？

• 如果有些知识是错误的，我们能修正吗？我们如何在不损害LMs推理能力的情况下修正知识？

• 我们如何用特定领域知识增强LMs？我们如何利用知识帮助LMs自我纠错？ 

我们的研讨会探讨语言模型中知识的生命周期：1) 通过语言模型预训练的知识出现；2) 外部知识的注入；3) 知识的更新和修改；4) 知识的探测和生成。 

目前，关注这一生命周期不同阶段的研究人员分散在NLP的不同子领域中：探测知识和编辑知识通常与可解释性轨道相关，而注入知识通常是特定应用，讨论范围涵盖对话、问答、信息提取或总结等。我们的研讨会旨在聚集这些研究人员，促进合作，以更全面地了解这一问题。例如，LLMs 自身在典型的知识密集型任务（如信息提取）中未能取得成功，本研讨会旨在识别这一差距并提出可能的解决方案。如果我们能量化预训练中LMs所知的内容（或者我们能让LMs变得精确并真实），那么我们可能能以更有针对性和精确的方式注入知识。 

我们的研讨会还紧密关联着涉及LM研究的一些核心挑战：减少幻觉、提高可解释性以及使模型可扩展。尽管这些挑战仍然是开放的问题，但显然知识在其中发挥了关键作用：1) 在生成过程中提供来源归属或相关知识可以减少幻觉；2) 能够定位并追踪知识有助于洞悉LM的内部工作机制；3) 能够高效适应领域知识或整合更新的事实，提高了扩展性。 

在我们的研讨会上，我们邀请了来自学术界和工业界的演讲者分享他们在这些问题上的经验和观点。我们还将举办一个Panel Discussion，以激发讨论并从观众中收集问题。

研讨会主页：

https://knowledgeable-lm.github.io/

Call for Paper

在这次研讨会中，我们希望聚集关注知识生命周期不同阶段和不同方面（结构化知识、非结构化知识以及LMs本身获得的知识）的研究者，讨论在大型语言模型时代知识的角色。

我们欢迎提交关于KnowledgeLM的所有相关主题的长篇（8页）和短篇（4页）论文：

1. 通过语言模型预训练的知识出现：分析LMs所拥有的知识以及其存储和表示方式。

2. 外部知识的注入：用现有知识源（知识图谱、特定领域数据库、手册和规则等，在训练或推理期间）增强LMs。分析和改进RAG（检索增强生成）系统。

3. 知识的更新和修改：在LMs中更新和编辑知识。

4 .知识的探测和生成：使用LMs进行知识提取和生成。

5. 知识的使用和推理：评估LMs的知识利用（忠实度、真实性）。识别和缓解LM幻觉，事实错误纠正。

Best Paper Award

我们还将在研讨会上宣布由亚马逊赞助的最佳论文奖。

提交指南

我们欢迎两种类型的论文：常规论文和Non-archival版本。只有常规研讨会论文才会被收录在研讨会论文集中。所有提交应使用ACL模板，以PDF格式通过OpenReview提交门户提交：

https://openreview.net/group?id=aclweb.org/ACL/2024/Workshop/KnowledgeLM

我们欢迎ACL/NAACL Finding Paper提交并在workshop上进行poster/oral presentation。

重要时间点

论文提交截止日期

2024年5月30日

决定通知日期

2024年6月30日

定稿截止日期

2024年7月10日

Finding Paper提交截止日期

2024年7月10日

研讨会日期

2024年8月16日

以上是各项截止日期的表格，所有截止时间均为世界协调时UTC-12h（“地球上任何地方”）。请注意各个阶段的最终日期，确保按时提交相关材料。

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·