虚假新闻检测方法研究：《QNMF A quantum neural network based multimodal fusion system for intelligent diagnosis》

量子+人工智能：《QNMF A quantum neural network based multimodal fusion system for intelligent diagnosis》

期刊：Information Fusion SCI计算机科学一区 影响因子：18.6

原文地址：https://doi.org/10.1016/j.inffus.2023.101913

源码地址： https://github.com/WindMoon12/QNMF

录用时间：2023年7月

---

量子机器学习

• 量子神经网络 (QNN) 使用量子位和门在量子计算环境中进行计算和学习，与经典神经网络模型不同，QNN利用量子态的叠加和纠缠特性进行信息处理，从而提高计算效率和更强大的信息处理能力。

• QNMF系统包括几个阶段：数据收集和预处理、特征提取、特征融合以及用于智能诊断的VQC训练（如下图）,首先，在数据收集和预处理阶段，利用预先训练的 QCNN 从 IoMT 收集的特定模态数据中提取特征；其次，在特征融合阶段采用早期融合方法 来融合图像和 EHR 数据并生成用于训练 VQC 的特征；第三，使用融合特征训练用于智能诊断的 VQC。

  

QNMF

• Data collection and preprocessing

  • 使用相应的 IoMT 设备收集多模式患者数据。,此外，对收集到的数据进行筛选、标记并上传至云端，为后续流程做好数据准备。

  • 作者采用可训练的量子电路从特定模态数据中提取特征，通过添加池化层或全连接层，它可以实现类似于经典CNN的功能，特别的，在QNMF中预训练了用于图像特征提取的QCNN，其中包括以下过程：数据编码、量子进化、数据解码和用于特征提取的预训练模型。

  • 数据编码：数据编码的主要目标是使用编码电路将经典补丁（𝒙）编码为量子态，这个过程涉及量子纯态|0⟩^𝑛通过𝑈𝑒𝑛𝑐𝑜𝑑𝑖𝑛𝑔（𝒙）演化为|𝒙⟩。一般来说，有几种数据编码方法可用，包括直接编码，将经典的 0 和 1 位直接编码为量子位 |0⟩ 和 |1⟩，幅度编码将经典数据归一化并将其存储在量子态的幅度和角度编码中，角度编码的核心思想是将输入数据表示为量子旋转门的角度。具体地说，角度编码将酉变换应用于纯量子态以获得输入量子态。具体公式如下：

这里，𝑅𝑦指的是量子旋转门。

• 量子进化：通过编码电路将经典补丁编码为量子态|𝒙⟩后，应用另一个酉变换𝑈𝑒𝑣𝑜将其演化为另一个量子态|𝒙； ,𝜽⟩，用于信息的纠缠和稍后提取图像特征，具体公式如下：
  

  这里，𝑈𝑒𝑣𝑜 (𝜽) 被称为 ansatz 或量子卷积层，选择强大的 ansatz 是提高量子算法准确性的关键，理论上，通过增加 ansatz 的层数和量子门数量，可以增强 ansatz 的表达能力，从而提高 QCNN 的性能，然而，随着层数的增加，量子噪声等因素可能会导致梯度消失问题和更长的训练时间，一般来说，通过使用 { 𝐻, 𝑅𝑋 , 𝑅𝑌 , 𝑅𝑍 , 𝐶𝑁𝑂𝑇, CZ } 门，可以模拟任何酉变换，本文使用的 QCNN 的 ansatz 如下图：
  

  详细过程见算法1：

• 数据解码：数据解码涉及测量量子态的特定可观测值 𝐻̂ 的期望值，并将该变换表示为 𝑈𝑀。

在这里，|𝒙; ,𝜽⟩是进化后的量子态，𝑇𝑟是迹算子，𝐻是任意可观酉算子，默认测量是 𝑍̂ 基础测量，然后将测量结果输入经典的全连接网络以获得模型输出，用于优化参数。

• 用于特征提取的预训练模型：QCNN 的训练过程如下图所示。经典的 CNN 可以使用反向传播算法进行训练；然而，这种训练策略不能直接应用于训练 QCNN，这是因为QCNN的输出必须通过测量量子态来获得，这与经典CNN的输出有很大不同。因此，本研究提出了一种使用参数移位规则和链式规则计算量子卷积层梯度的训练算法，并将其嵌入到标准反向传播过程中，这允许将 QCNN 作为一个整体进行训练。作者预训练了 QCNN，用于单独的图像数据特征提取，通过去除端到端的全连接层来获得所需的维度图像特征。

  

• 特征融合

  • 使用直接串联将先前提取的图像特征数据与 EHR 数据融合，与后期融合相比，早期融合可以更好地利用各种数据模态之间的互补信息，并且融合的特征可以有效地用于训练用于智能诊断的VQC。结构如下图所示：

    

  • VQC训练

    • 作者选择VQC来学习多模态数据之间的关系并获得诊断结果，典型VQC的训练过程如下图所示。

      

    • 首先，使用编码电路𝑉将融合的多模态数据特征𝒙𝑖编码为量子态，以获得量子数据|𝒙𝑖⟩，其中作者采用的方法是幅度编码，然后，编码后的量子态通过量子电路𝑈 (𝜽) 演化，得到最终状态|𝜓 ( 𝜽; 𝒙𝒊 ) ⟩ = 𝑈 (𝜽) |𝒙𝑖⟩，其中𝜽 是整个电路的参数集，接下来，测量最终状态的特定量子位，并将测量值作为输出⟨ ̂𝑍⟩，最后，根据输出计算损失 𝐿 = 𝑙𝑜𝑠𝑠 ( ⟨ ̂𝑍⟩, 𝑦 )，并使用经典优化器根据 𝜕𝐿/𝜕𝜽 更新参数 𝜽，VQC量子电路如下图所示，其具体构建流程如算法2所示。

      
      

试验

作为智能诊断的通用融合系统，作者使用乳腺癌诊断和Covid-19诊断数据集进行实验来验证QNMF的有效性，为了提高数据的利用率，从而提高智能诊断的准确性，本研究将患者图像数据和EHR数据进行整合，作者利用 Pennylane 模拟真实的量子电路并从输入图像中提取特征，然后将其与 EHR 数据融合。随后，使用融合特征训练VQC以获得诊断结果，同时，作者为每个实验进行了两个对照实验：带有图像数据的 QCNN 和带有 EHR 数据的 VQC。本研究使用的QCNN框架如下图所示：

• 数据集与初始设置

  • 对于乳腺癌诊断实验，作者选择了两个数据集：Medminst 和 Breast Cancer Wisconsin 。第一个数据模式是 Medminst 的乳房数据集，其中包含乳房超声图像。第二种数据模式是名为威斯康星州乳腺癌数据集的 EHR 数据集，其中包含从乳腺细胞切片中手动提取的特征。两者都是可独立用于诊断乳腺癌的临床诊断数据集。它们的结合可以为乳腺癌诊断创建多模式数据。
  • 为了诊断 Covid-19，作者利用了两种数据模式：Covid-19 CT 扫描图像数据集 ，其中所有图像均采样为 32 × 32 像素，以及 Covid-19 血液测试特征 ，这也是 EHR 数据。作者从每个实验的两个数据集中选择了 500 个标记数据点。

• 评价指标

  • 对于对照实验，使用经典ML作为评价指标来比较实验的性能并计算相应的准确率、精确率、召回率和F1分数。

• 实验结果分析

  

• 对量子噪声的影响分析

  ​ 在NISQ时代，任何QML模型都必须考虑量子噪声的影响。量子噪声会严重影响算法的结果，不仅降低算法的准确性，还会导致模型陷入停滞状态而无法收敛。四种典型的量子噪声：BF: Bit flip, PF: Phase flip, AD: Amplitude damping, and DN: Depolarizing noise

  ​ 保真度是量子算法对量子噪声鲁棒性的重要指标。,保真度衡量两个量子态的接近程度，表示一个态通过测试而被识别为另一种态的概率。,一个好的量子算法应该具有高保真度，这也可以被认为是衡量量子噪声对算法结果影响的一个标准。,噪声对结果的影响越小，保真度就越高。两种混合状态的保真度估计公式由以下给出：
  

​其中，𝜌和𝜎是两种混合状态的密度矩阵。作者计算了存在单一噪声和两种噪声组合（p = 0.1 和 p = 0.01）时量子电路的保真度。结果如下图所示。

​根据以上的结果，在不同类型的噪声下，两种算法的保真度均有所下降，但仍保持较高的值。结果表明，QNMF具有良好的抗量子噪声能力，在噪声环境下仍能保持高精度和鲁棒性。因此，QNMF在实际应用中具有良好的鲁棒性和可靠性，能够应对不同类型的量子噪声。

到目前为止，多模态数据的融合是智能诊断未来发展的关键一步。通过整合多种模式的数据，QNMF可以有效协助医生做出准确的诊断。在未来的研究中，作者主要关注以下几个方面：首先，希望构建具有更强表达能力的量子电路，以进一步增强QNN的性能。其次，作者想进一步研究量子噪声的影响，减少噪声对 QNN 的影响。