大模型关联度预测的形式化和语义解释研究

摘要: 本文探讨“大型语言模型是什么”的问题。为此对大模型的评判标准展开实验观察，对大模型的基础设施关联度预测进行直观分析，构建关联度预测的一种形式化LC，进而研究关联度预测的语义解释。在此基础上讨论大模型的真实性挑战、共识挑战、内容属性挑战和非封闭性挑战。主要发现包括：语元关联度是体现人类语言习惯的可自动提取的语言痕迹；关联度预测具有语境相关的统计性质；LC具有弱共识性实质语义；LC是一个非概念化公理系统。这些特点颠覆了科学理论、形式化方法和软件的传统理念在人工智能领域的主导地位，是大模型输出既出人预料、又符合语言习惯的深层原因。

• 关键词: 
• 大模型  /  
• 形式化  /  
• 语义  /  
• 概念化  /  
• 弱共识  

当前大型语言模型（简称大模型）基础研究的首要问题是：大模型是什么？这一问题引起了普遍困惑和关注，不仅波及面广，而且涉及基础研究中的多项颠覆。为此，本文以相应的非常规思路展开探讨。首先从普通用户对大模型的评判标准入手，尝试理解大模型引发普遍反应的真实原因。其次，针对大模型的基础设施——关联度预测，进行直观分析。在此基础上探索大模型的理论研究，构造关联度预测的一种形式化，包括形式公理系统LC及其语义结构分析，以澄清关联度预测的基础特性——语境相关的统计性质、弱共识性实质语义和非概念化公理系统。弱共识性和非概念化等特性颠覆了科学理论、形式化方法和软件的基本理念在人工智能领域的传统支配地位，是大模型得以产生既出人预料、又符合人类语言习惯的效果的深层原因。依据这些特性，进一步讨论大模型带来的4项新挑战——真实性挑战、共识挑战、内容属性