用于化学数据提取的大型语言模型_大数据从化学文献提取信息-CSDN博客

本文链接：https://blog.csdn.net/m0_70486148/article/details/146553709

全文速览

本文是一篇关于利用大型语言模型（LLMs）进行化学数据提取的综述文章，发表于《Chemical Society Reviews》。文章详细介绍了LLMs在化学数据提取中的应用，包括从非结构化文本中提取结构化数据的全流程，从数据收集到结构化输出。文章还探讨了多模态方法、代理系统（agentic systems）等先进技术，以及质量保证和未来发展方向。通过结合LLMs和化学专业知识，文章为研究人员提供了一个利用LLMs进行数据驱动的化学研究的基础框架。

背景介绍

化学和材料科学领域积累了大量的知识，但这些知识大多以非结构化的自然语言形式存在，而结构化数据对于创新和系统化的材料设计至关重要。传统上，数据提取依赖于人工整理和部分自动化方法，但这些方法在多样化的化学和材料研究中面临挑战。随着LLMs的出现，这一领域发生了重大变化，LLMs能够解决未明确训练的任务，为数据提取提供了一个强大且可扩展的替代方案。然而，将LLMs应用于化学和材料科学数据提取时，也面临着独特的挑战，但化学专业知识和物理定律也为验证LLMs输出提供了机会。

图文解析

图1展示了1996年至2023年间材料科学和化学领域发表的研究论文数量与存储在数据存储库中的数据集数量的对比。上图显示了通过Web of Science Core Collection搜索得到的论文数量，而下面的两幅图则分别显示了在Zenodo和DataCite存储库中化学和材料科学领域的数据集数量。图中指出，尽管论文数量庞大，但结构化数据集的数量相对较少，这突出了从非结构化文本中提取数据的巨大潜力。这张图强调了结构化数据在化学和材料科学中的稀缺性，以及利用LLMs从大量非结构化文本中提取有用信息的重要性。

图2展示了LLM的工作原理，以解码器模型（如GPT或Llama）为例。用户查询首先被分词器转换为更小的组成部分——标记（tokens）。这些标记被输入到模型中，模型计算输入嵌入（embeddings），然后通过一系列操作转换这些嵌入。最终，模型输出后续标记的概率分布。根据温度参数，选择最可能的标记或不太可能的标记，并将其添加到输入中。通过重复这一过程，模型生成对查询的响应。这张图帮助读者理解LLM如何通过生成标记来完成文本，并解释了温度参数如何影响输出的确定性。

图3描述了从左到右的数据提取流程，包括数据收集、预处理、与LLM的交互以及后处理等阶段。图中强调了评估循环，指出如果评估结果不满意，可能需要在任何阶段进行修正和改进。重要的是，评估应使用代表性且标记好的测试集，而不是整个非结构化数据语料库。只有在评估结果令人满意时，才处理整个非结构化数据语料库。这张图提供了一个清晰的数据提取工作流程框架，强调了迭代优化和评估的重要性。

图4展示了从挖掘的文章到机器可读和清理格式的处理过程。对于那些无法使用常规视觉文档理解（VDU）工具提取相关信息的文章，视觉语言模型（VLM）可能是一个合适的选择。这张图说明了在将数据输入LLM之前，如何通过预处理步骤去除无关信息并保留关键内容，从而提高数据提取的效率和准确性。

图5提供了一个决策树，帮助决定在处理文本时使用哪种分块策略。如果输入文本较短，则无需分块。如果信息分散在非常大的语料库中，检索增强型生成（RAG）可以提供成本和效率优势。在这种情况下，可以使用语义分块，如果它能提供适合上下文窗口的分块。最简单的选择是使用固定窗口大小进行分块。这张图指导研究人员根据数据的长度和信息分布情况选择合适的分块策略，以优化LLM的使用。

图6展示了如何决定使用哪种学习范式。通常，首先测试领先的LLM，使用零样本或少样本提示。如果结果足够好，可以继续使用这种方法；如果不是，可能需要进行微调。但微调需要额外的标记数据和计算资源。如果这些资源不足，且简单方法不起作用，预训练也不是解决方案，因为它通常需要更多的数据（即使是未标记的）和计算资源。这张图帮助研究人员根据具体任务和资源情况选择合适的学习范式，以实现最佳的数据提取效果。

图7展示了使用视觉语言模型（VLM）进行数据提取的工作流程。论文（例如PDF格式）可以转换为图像，然后使用图像编码器进行处理。提示（包含指令）仍然以文本形式提供，而VLM的输出则是结构化数据，以文本形式呈现。这张图说明了VLM如何处理包含图像和其他模态的复杂结构，为处理包含图表、反应式等的科学文献提供了有效的方法。

图8描述了一个代理用于数据提取任务的一般工作流程。从文章中提取的非结构化数据（包括文本、图像、方程式等）被输入到代理中。代理利用其推理能力，决定使用哪些可用工具来提取每种数据类型。当所有数据都被提取后，代理将它们作为结构化数据提供。这张图展示了代理如何通过动态构建工作流，自动选择和使用工具来提取数据，提高了数据提取的灵活性和准确性。

图9比较了常规解码和约束解码在生成数字时的不同。在常规解码中，所有标记都有非零概率被采样，因此可能会生成非数字的输出。而在约束解码中，可以动态调整采样标记的集合，以确保只生成有效的输出。例如，在第一步中，只允许两个整数标记被采样。在下一步中，也允许“.”，因为它可能导致一个有效的数字。然而，一旦“.”被采样，它就不再被允许，因为一个数字只能包含一个小数点。这张图展示了如何通过约束解码技术提高LLM输出的准确性和相关性，特别是在生成结构化数据时。

图10展示了评估工作流程，左侧是提取的结构化数据，右侧是手动标记的真实数据。图中用颜色表示两边的匹配情况。检查标记表示正确的键，叉号表示错误的键，而圆圈则表示提取数据和真实数据中的键。注意，左侧有一个未匹配的蓝色集合，右侧有一个黄色集合，这会影响精确度和召回率的计算。此外，对于数值数据，如果单位报告方式与真实数据中的存储方式不同，则需要进行归一化处理。某些字段（如模拟参数）可以使用科学分析工具进行验证，以确保它们符合所有领域规则。这张图说明了如何通过匹配提取数据和真实数据来评估数据提取的性能，并强调了数据归一化和领域规则验证的重要性。
总结展望
本文全面介绍了LLMs在化学数据提取中的应用，强调了其在处理非结构化文本数据方面的潜力和优势。文章不仅提供了从数据收集到结构化输出的全流程框架，还探讨了多模态方法、代理系统等先进技术，以及质量保证和未来发展方向。通过结合LLMs和化学专业知识，研究人员可以更高效地从大量非结构化文本中提取有用信息，加速新型化合物和材料的开发，满足社会的关键需求。未来的研究方向包括改进多模态模型、跨文档链接、解决科学文献偏差问题、从论文之外的数据源提取信息、构建从查询到模型的系统，以及开发更全面的基准测试和开放性问题。