如何让大语言模型更好地理解科学文献？

论文地址：https://arxiv.org/pdf/2408.15545

引言

科学文献的理解对于提取目标信息和获取洞察至关重要，这显著推动了科学发现。尽管大语言模型（LLMs）在自然语言处理方面取得了显著成功，但在科学文献理解方面仍面临挑战，主要由于缺乏科学知识和对特定科学任务的不熟悉。为了开发专门用于科学文献理解的LLM，我们提出了一种混合策略，结合持续预训练（CPT）和监督微调（SFT），以同时注入科学领域知识和增强特定任务的指令遵循能力。

1. 持续预训练（CPT）阶段

1.1 格式与语法校正

在从PDF文档中提取文本时，常常会引入许多格式和语法错误。为了解决这一问题，我们使用Llama3-8B-Instruct模型来校正这些错误。以下是一个校正前后的示例：

校正前的文本：

Highly p e n e t r a t i n g radiation, such as $\gamma$ -rays or fast electorns, deposits ener gy   
throughout the solid t a r g e t material. Gas production occurs w i t h i n the solid phase and must d i f f u s e to the surface to be observed.

校正后的文本：