小小帅

人工智能（AI）对传统教育有着深远的影响。近年来，大型语言模型（LLM）越来越多地应用于自然语言处理、计算机视觉、语音识别和自动驾驶等各种领域。LLM 还被应用于推荐、金融、政府、教育、法律事务和财务等多个领域。作为强大的辅助工具，LLM 融合了深度学习、预训练、微调和强化学习等多种技术。将 LLMs 用于智能教育（LLMEdu）已成为世界各国的重要战略方向。尽管 LLMs 在提高教学质量、改变教育模式、修正教师角色等方面已显示出巨大的前景，但该技术仍面临着一些挑战。

1.纯文本：1.1.纯文本—数据集：科学LLM 最常用的预训练语料库是来自书目数据库的研究论文，例如AMiner、Microsoft Academic Graph (MAG)和 Semantic Scholar。其中一些来源（S2ORC）包含论文全文信息，而其他来源仅包含标题和摘要。1.2.纯文本—Model分类（预训练方式）：早期的科学LLM模型在预训练期间以自监督的方式利用论文文本，旨在从大规模未标记语料库中获取科学知识。

介绍了学术领域的110+个预训练模型： 领域：生物医学领域，化学领域，学术多领域 方向：NER,分类，RE,QA,NLI架构：基于bert，基于生成，基于其他架构

本文是经典的学术bert预训练模型，仅供补充基础知识

本文介绍了 KnowledgeHub 工具，这是一个科学文献信息提取（IE）和问题解答（QA）管道。该工具支持将 PDF 文档转换为文本和结构化表述，从而实现信息提取。然后可以构建一个本体，由用户定义他们想要捕捉的实体类型和关系。基于浏览器的注释工具可根据本体对 PDF 文档的内容进行注释。命名实体识别（NER）和关系分类（RC）模型可在由此产生的注释上进行训练，并可用于注释文档中未注释的部分。知识图谱由这些实体和关系三元组构建而成，可通过查询从数据中获取见解。

对科学论文进行文献综述对于了解研究、研究的局限性以及在现有工作的基础上开展研究至关重要。这是一项繁琐的工作，因此自动文献综述生成器很有吸引力。遗憾的是，许多使用大型语言模型（LLM）生成此类综述的现有工作都有很大的局限性。它们往往会产生幻觉–生成非事实信息–并忽略未经训练的最新研究。为了解决这些局限性，我们提出了一个工具包，该工具包根据检索增强生成（RAG）原理运行，在 LLMs 的帮助下采用专门的提示和指导技术。我们的系统首先启动网络搜索，

文献综述是研究过程中不可或缺的一步。它有助于理解研究问题，了解研究现状，同时对以前的工作进行比较分析。然而，文献总结既具有挑战性又耗费时间。以往基于 LLM 的文献综述研究主要集中在整个过程，包括文献检索、筛选和总结。然而，对于总结步骤，简单的 CoT 方法往往缺乏提供广泛比较总结的能力。在这项工作中，我们首先关注独立的文献总结步骤，并引入了ChatCite-一个具有人类工作流程指导功能的 LLM 代理，用于比较文献总结。

系统文献综述（SLR）已成为循证研究的基础，使研究人员能够根据特定的研究问题对现有研究进行识别、分类和合并。进行系统文献综述在很大程度上需要人工操作。过去几年中，研究人员在 SLR 流程的某些阶段实现自动化方面取得了重大进展，旨在减少开展高质量 SLR 所需的精力和时间。然而，目前仍缺乏基于人工智能代理的模型来自动完成整个 SLR 流程。为此，我们引入了一种新颖的多人工智能代理模型，旨在实现 SLR 过程的完全自动化。通过利用大型语言模型（LLM）的功能，我们提出的模型简化了审查流程，提高了效率和准确性。

已发表的学术论文超过 2 亿篇，而且每年都有数百万篇新论文问世，因此学术研究人员面临着在这一庞大语料库中搜索信息的挑战。然而，现有的检索系统很难理解学术论文中的语义和领域知识。在这项工作中，我们证明了通过利用大型语言模型，文档检索系统可以实现先进的语义理解能力，显著超越现有系统。使用大型语言模型生成的特定领域数据来训练检索器和重排器。此外，我们还利用大型语言模型从检索论文的参考文献中识别候选词，以进一步提高性能。我们使用量子物理和计算机视觉领域的学术研究人员注释的测试集来评估我们系统的性能。

在学术应用程序接口（API）使用中应用大型语言模型（LLM）有望减少研究人员的学术信息搜索工作量。然而，目前的 LLM API 使用方法难以应对学术查询中常见的复杂 API 耦合。为了解决这个问题，我们介绍了 SoAY，一种基于解决方案的学术信息搜索 LLM API 使用方法。它使用带有解决方案的代码作为推理方法，其中解决方案是预先构建的 API 调用序列。解决方案的加入降低了模型理解 API 之间复杂关系的难度。代码提高了推理的效率。

大型语言模型（LLM）已在各种自然语言处理任务中展现出非凡的能力。然而，许多先进的 LLM 都是为广泛的通用应用而量身定制的。在本技术报告中，我们将介绍专为学术研究而设计的 AcademicGPT。AcademicGPT 是源于 LLaMA2-70B 的持续训练模型。我们的训练语料库主要由学术论文、论文、某些学术领域的内容、高质量中文数据等组成。虽然在数据规模上并不庞大，但 AcademicGPT 标志着我们首次涉足为研究领域量身定制的特定领域 GPT。

介绍学术论文总结的需求以及现有的问题，引出本文提出的科学文献解释器：在当代信息时代，随着大规模语言模型（LLM）的出现，科学文献的激增达到了前所未有的水平。研究人员迫切需要高效的工具来阅读和总结学术论文，发掘重要的科学文献，并采用多种解释方法。为了满足这一急剧增长的需求，自动科学文献解释系统的作用变得至关重要。然而，现有的商业模式和开源模式都面临着显著的挑战：它们往往忽视多模态数据，难以总结过长的文本，而且缺乏多样化的用户界面。