vc++ 复合文档 处理_闻歌研究 | 量子理论在自然语言处理领域的研究调研

认知计算部

作为中科闻歌的基础研究部门，认知计算部依托于中科闻歌多年来积累的媒体大数据、高性能云计算平台以及高素质技术人才，致力于将认知计算技术应用到广泛的业务场景中并推动前沿技术发展，研究方向包括但不限于自然语言处理、计算机视觉、认知心理学、数据挖掘等。

前言

近期，量子技术的发展受到了广泛关注。量子技术是一项革命性的技术，将会深入影响人们的生活，也将会是未来多年重要的发展方向。所谓量子自然语言处理(NLP)指借助量子理论的数学方法、实验直觉，以及类量子现象(例如宏观现象中体现出来的类量子规律)来解决NLP领域问题的研究工作。本文主要介绍了量子自然语言处理常用的量子力学的公理体系，并对现有的前沿量子NLP技术的应用领域进行了调研和梳理。

1

技术背景

20世纪30年代数学家von Neumann[8]基于Hilbert空间下的线性代数和投影理论将量子理论进行公理化。本节介绍量子自然语言处理常用的量子力学的公理体系[1], 并且说明其在自然语言处理方面的应用实例。

1.1

状态空间

假设一个量子比特有一个二维的状态空间, 由两个标准正交基构成, 则状态空间中的任意状态可用叠加态(即标准正交基的加权和)表示。在信息检索中, 用户对文档的相关性 (relevance judgement) 判断可以用量子叠加态表示 [12]。另外,一个词的多种词义也可以用量子叠加态表示[16], 比如“苹果”这个词,它既可以是水果,也可以是手机。因此,可以使用一组完备的基向量表示一个词的多种词义。根据向量表示方法,词向量就可以看作是一种叠加态的表示。在信息检索中,用户在对文档的相关性判断时,判断相关还是不相关,是具有上下文性的,需要借助量子测量得到。通过量子测量,量子的叠加状态会以一定的概率塌缩到文档相关和不相关这两种状态的其中一种。词的含义也有上下文性,一个给定的多义词通过量子测量会塌缩到一种具体的词义。

1.2

量子测量

量子力学中有很多重要的测量方法, 包括一般测量、投影测量和 POVM 测量等。在量子语言模型建模过程中, 使用较多的一种测量方法是投影测量。

图1 投影测量的二维几何表示

为了能够形象的表示测量过程, 投影测量的二维几何表示如图 1 所示, 和对应两个基本量子事件,用两个基向量表示。量子系统状态是一个量子叠加态的表示,朝两个不同的方向作投影, 可以分别得到概率 和 。

投影测量对应向量的内积计算,在信息检索中,可以用来计算查询和文档间的余弦相似度，两个词向量的余弦相似度也可以用投影测量来刻画。

1.3

复合系统

一个复合系统的状态空间是由多个子系统的状态空间做张量积得到的,若将多个子系统编号为1到子系统 的状态被置为 则整个系统的总状态为 即复合系统的状态，其中 表示两系统状态做张量积。为了便于理解，以句子“张三/买了/书”为例。每个单词用一个独热表示 (one-hot)，那么这个句子的复合系统的状态就可以表示为 。同时，每个向量也可以用词向量来表示。

2

量子自然语言处理技术的应用领域

2.1

量子信息检索

量子力学在NLP领域的应用是在信息检索领域首先提出的。量子信息检索起初是希望经典信息检索的模型更加一般化，从而建模一些非经典的概率现象或特征。van Rijsbergen 在其文献[2]中开创性地提出将传统信息检索模型 (例如布尔模型、向量空间模型和概率检索模型等) 统一在 Hilbert 向量空间中的量子力学形式化框架中。具体来说，量子理论为信息检索基本元素例如查询，文档和多媒体信息等)提供了在 Hilbert 复数空间中的几何表示。在van Rijsbergen的启发下，涌现出一些量子信息检索的工作。

首先，在信息检索领域中，人们开始探索和建模宏观类量子现象。受量子干涉现象的启发，研究了认知干涉，即用户的先期阅读经历是否会改变其对当前文本的相关性判断[3]，研究了查询词的次序效应 (order effect)，以及相对应的量子干涉现象[4]。Zuccon等[5]指出了信息检索 (IR) 中的文本排序场景和量子理论中的双缝实验解释之间的同构性， 并主张在测度文本相关性时考虑文本之间的干涉。Sordoni等[6]类比了量子力学中的双缝干涉实验，将任意两个隐主题类比为双缝，将主题词分布看作屏幕，研究两个隐主题之间的干涉效应。此外，为了捕获搜索会话中的动态信息需求，利用密度矩阵[7]的演化过程建立了自适应量子语言模型，研究 Session Search 中的查询词的不确定性。在建模宏观类量子现象方面，Zhang 等[7,9-10]提出了光子极化实验在信息检索排序模型和查询扩展模型的对应关系。文献 [11] 提出利用纯相关依赖关系建模后测量设置下的量子纠缠，抽取一些依赖关系更强的词组作为量子基本事件。并在量子语言模型中建模了量子纠缠这一宏观类量子现象。

此外，研究人员提出了若干基于 Hilbert 空间的信息检索模型和框架。例如，可以将用户的信息需求和信息对象表示为对应的子空间，并融合不同维度的上下文信息(例如，文本、任务、用户或地点等)。Piwowarski等[12]利用张量空间与状态向量空间构造量子信息检索方法，随后 Frommholz[13]基于信息需求的多元表示扩展了上述框架，为各个表示定义合适的Hilbert子空间。

目前, 量子NLP技术在主流研究中未能取得广泛应用, 原因有以下几点。第一,大多数同行认为量子力学主要针对微观世界,与计算机的联系仅是量子计算。但其实量子力学本身是一个数学框架,已经应用于一些诸如社会学、经济学和认知科学等宏观领域 [14,15], 并且其研究不依赖于量子计算；第二, 在某种意义上说, 信息检索是一门实验科学, 而早期的量子信息检索模型在实验效果上未能表现出明显的优势；第三, 量子语言模型提出来之后, 因为其密度矩阵计算成本较大, 加之不能利用监督信息, 所以它在很多任务上(例如自动问答任务) 表现不佳。这些原因都限制了量子NLP技术在主流研究中的影响力。

然而，深度学习技术的发展为量子NLP技术进一步的发展带来了新的活力和希望。工作[19]从信息检索研究领域相关性概率估计的这一基础问题入手，详细分析了概率检索模型、统计依赖检索模型、神经匹配检索模型的概率估计过程，指出已有检索模型大都符合全概率公式原理的经典概率诠释。同时，研究表明量子干涉现象在人类认知过程中存在的大量证据，并且通过分析发现人类相关性判断过程是不符合经典全概率公式原理的。在此基础上，此工作首次将量子干涉的理论建模在神经匹配模型中，提出QINM模型，将神经匹配模型扩展到量子概率诠释，并在ad-hoc信息检索任务获得实用且表现出不错的检索效果。

图2 QINM模型框架

2.2

量子语言模型

语言建模(LM)是自然语言处理领域的基础研究课题。Sordoni等人[16]首先利用量子统计物理中的数学形式，提出了量子语言模型(Quantum Language Model，QLM)。具体来说就是，QLM 借鉴了量子力学中密度矩阵的概念，将单个词项和词项间依赖的概率不确定性编码到密度矩阵中，且与传统n-gram模型相比，量子语言模型在表示n阶依赖时不会增加参数规模。

这种方法在理论上是非常重要的，因为它是首次用量子理论的公式来推广 语言模型。但是其也有一些限制：1)QLM 中每个词的表示是一个one-hot向量，它只能编码局部信息，而不能考虑全局语义信息；2)QLM 通过密度矩阵表示文本(例如查询，文档)，它通过迭代求解而非解析求解，因此在端到端的设计中很难更新和优化密度矩阵；3)QLM 中密度矩阵的表示、训练和匹配，这三个步骤无法共同优化，限制了QLM的适用性。

针对这些问题，Zhang等人[17]构建的NNQLM模型，首次提出将词向量作为单个词的状态向量，单个词表示一个纯态系统，整个句子就可以对应于由密度矩阵表示的混合态系统。这样就可以在没有迭代估计的情况下计算出密度矩阵，密度矩阵表示也可以被集成到神经网络结构中并通过反向传播算法自动更新。

图3 NNQLM模型框架

QLM和NNQLM 等量子语言模型在信息检索和问答领域取得了一定的成果。尽管如此，这两个量子语言模型还暴露出两个问题：第一，基于密度矩阵构建句子表示无法模拟词与词之间的依赖关系，这限制了量子语言模型在一些复杂的自然语言处理任务上的表现。比如在问答，阅读理解任务中，词与词之间的依赖关系是不可忽略的因素；第二，NNQLM 语言模型将量子概率和神经网络相结合只是为了利用神经网络对密度矩阵进行训练。所以量子语言模型和神经网络的结合仍然缺乏理论基础。

为了解决以上两个问题，工作[18]基于量子多体波函数提出了一种新的量子语言模型(QMWF-LM)。在 QMWF-LM 中，该工作构建了一种基于张量空间的句子表示，这有助于构建词与词之间的相互依赖关系。另外，在对高阶张量进行张量分解时，研究者发现可以使用卷积神经网络来解决高阶张量问题，这降低了QMWF-LM的模型复杂度，且构建了量子语言模型和卷积神经网络间的理论联系。

图4 QMWF-LM模型框架

3

总结

本文主要介绍了量子自然语言处理常用的量子力学的公理体系，并对现有的前沿量子NLP技术的应用领域进行了调研和梳理。从技术上来说，量子NLP技术的发展同时也为解决NLP领域的众多研究问题提供了新思路，并以此推动NLP领域研究的不断发展；而从应用上来说，随着量子应用技术发展逐渐成熟，我们必须思考如何更好地利用量子技术来服务于人们的生活。

参考文献

[1] Zhang P, Ma X D, Song D W. A survey of quantum language models (in Chinese). Sci Sin Inform, 2018, 48: 1–20, doi: 10.1360/N112018-00163

[2] van Rijsbergen C J. The Geometry of Information Retrieval. Cambridge: Cambridge University Press, 2004. 15–20

[3] Zhang P, Song D W, Hou Y X, et al. Automata modeling for cognitive interference in users relevance judgment. In: Proceedings of Symposium on Quantum Informatics for Cognitive, Social, and Semantic Processes, 2010. 125–133 32

[4] Wang B, Zhang P, Li J, et al. Exploration of quantum interference in document relevance judgement discrepancy. Entropy, 2016, 18: 144 33

[5] Zuccon G, Azzopardi L, van Rijsbergen K. The Quantum Probability Ranking Principle for Information Retrieval. Berlin: Springer, 2009. 232–240 34

[6] Sordoni A, He J, Nie J. Modeling latent topic interactions using quantum interference for information retrieval. In:Proceedings of the 22nd CIKM, 2013. 1197–1200 35

[7] Zhang P, Li J, Wang B, et al. A quantum query expansion approach for session search. Entropy, 2016, 18: 146

[8]  Nielsen M A, Chuang I L. Quantum Computation and Quantum Information. Cambridge: Cambridge University Press, 2000

[9] Zhang P, Song D W, Zhao X Z, et al. Investigating query-drift problem from a novel perspective of Photon polarization.Berlin: Springer, 2011, 6931: 332–336

[10] Zhao X, Zhang P, Song D, et al. A novel re-ranking approach inspired by quantum measurement. In: Proceedings of European Conference on Information Retrieval. Berlin: Springer, 2011. 721–724

[11] Xie M J, Hou Y X, Zhang P, et al. Modeling quantum entanglements in quantum language models. In: Proceedings of the International Joint Conferences on Artificial Intelligence, 2015. 1362–1368

[12] Piwowarski B, Frommholz I, Lalmas M. What can quantum theory bring to information retrieval. In: Proceedings of the 19th ACM International Conference on Information and Knowledge Management, 2010. 59–68

[13] Frommholz I, Larsen B, Piwowarski B, et al. Supporting poly representation in a quantum-inspired geometrical retrieval framework. In: Proceedings of the 3rd Symposium on Information Interaction in Context, 2010. 115–124

[14] Haven E, Khrennikov A. Quantum Social Science. Cambridge: Cambridge University Press, 2013

[15] Bruza P D, Wang Z, Busemeyer J R. Quantum cognition: a new theoretical approach to psychology. Trends Cogn Sci, 2015, 19: 383–393

[16] Sordoni, A.; Nie, J.-Y.; and Bengio, Y. 2013. Modeling term dependencies with quantum language models for ir. In Proc. of SIGIR, 653–662. ACM

[17] Peng Zhang；Jiabin Niu；Zhan Su；Benyou Wang；Liqun Ma and Dawei Song, End-to-end Quantum-like Language Models with Application to Question Answering. AAAI 2018

[18] Peng Zhang, Zhan Su, Lipeng Zhang, Benyou Wang, and Dawei Song. 2018. A Quantum Many-body Wave Function Inspired Language Modeling Approach. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management. ACM, 1303–1312.

[19] Jiang, Y., Zhang, P., Gao, H., & Song, D. A Quantum Interference Inspired Neural Matching Model for Ad-hoc Retrieval. In: Proceedings of the 43th international ACM SIGIR conference on Research and development in information retrieval.