张量网络算法基础（九、张量网络机器学习【下】）

暑假的接近尾声，这个系列也要结束了，这是这个系列的最后一篇。我们接着上篇继续讲！

一、监督/非监督张量网络机器学习

$|\psi ⟩$ 是一个L-qubit的量子态，它的参数复杂度会随着特征个数 L 呈指数上升，张量网络机器学习的中心思想之一就是将$|\psi ⟩$用张量网络表示，从而使参数复杂度降低到多项式级。

在给定N个训练样本$\left\{X^{[n]}\right\}$后，我们可以训练量子态，使其满足等概率假设:

$$\mathbf{P}\left({\mathbf{X}}^{[1]}\right)=\mathbf{P}\left({\mathbf{X}}^{[2]}\right)=\cdots$$

这被称为MPS非监督机器学习。

定义交叉熵损失函数：

$$f\left(\left\{X^{[n]}\right\}\right)=-\frac{1}{N}\sum _{n=1}^N\ln P\left(X^{[n]}\right)=-\frac{1}{N}\sum _{n=1}^N\ln {\left(\prod _{\otimes l=1}^L\left|⟨x_l^{[n]}\mid \psi ⟩\right|\right)}^2$$

其中N为训练集样本个数，当且仅当$\mathbf{P}\left({\mathbf{X}}^{[1]}\right)=\mathbf{P}\left({\mathbf{X}}^{[2]}\right)=\cdots$时，$f$达到极小。

在MPS表示下损失函数如下图所示：

定义损失函数后，我们可以通过梯度更新方法，更新张量网络中的张量，使得损失函数降到极低，梯度更新的公式为

$$A^{(l)}\leftarrow A^{(l)}-\eta \frac{\partial f}{\partial A^{(l)}}$$

使用MPS表示$|\psi ⟩$时，可利用MPS中心正交形式，逐个更新各个张量，步骤如下：
a) 更新第$l$ 个张量$A^{(l)}\leftarrow A^{(l)}-\eta \frac{\partial f}{\partial A^{(l)}}$时，将正交中心移动至该张量；
b) 利用张量网络的微分法则求出损失函数关于$A^{(l)}\leftarrow A^{(l)}-\eta \frac{\partial f}{\partial A^{(l)}}$的梯度；

仔细看看上面这幅图，有用到之前学过的知识。忘记了？没事，再回顾下张量网络的梯度更新

二、张量网络图片生成与压缩

当得到量子态$|\psi ⟩$后，可以求出像素的联合概率密度，还可以计算条件概率。将图片中部分已知像素记为$\left\{x_m^{[A]}\right\}$，剩余未知像素记为$\left\{x_n^{[B]}\right\}$，其概率分布可由条件概率给出：

$$\mathbf{P}\left(\left\{{\mathbf{x}}_{\mathbf{n}}^{[\mathbf{B}]}\right\}\mid \left\{{\mathbf{x}}_{\mathbf{m}}^{[\mathbf{A}]}\right\}\right)={\left(\prod _{\otimes \mathbf{n}}⟨{\mathbf{x}}_{\mathbf{n}}^{[\mathbf{B}]}\mid \tilde{\mathbf{\psi }}⟩\right)}^2$$

其中，量子态$|\tilde{\psi }⟩$是通过对$|\psi ⟩$的投影测量获得：

$$|\tilde{\psi }⟩=\frac{1}{Z}\prod _{\otimes m}⟨x_m^{[A]}\mid \psi ⟩$$

其中Z为归一化系数，如下图所示：

上述条件概率的定义与之前子系统概率公式自洽。根据概率公式：

$$P\left(\left\{x_n^{[B]}\right\}\right)=\sum _{\left\{x_m^{(A)}\right\}}P\left(\left\{x_m^{[A]}\right\}\cup \left\{x_n^{[B]}\right\}\right)=\sum _{\left\{x_m^{(A)}\right\}}P\left(\left\{x_n^{[B]}\right\}\mid \left\{x_m^{[A]}\right\}\right)P\left(\left\{x_m^{[A]}\right\}\right)$$

上篇博客留下的证明题在这！

在等概率的先验分布前提下，先验分布近似为等概率分布，有：

$$P\left(\left\{x_n^{[B]}\right\}\right)=\frac{1}{Z}\sum _{\left\{x_m^{[A]}\right\}}P\left(\left\{x_n^{[B]}\right\}\mid \left\{x_m^{[A]}\right\}\right)$$

由于：
$$\mathbf{P}\left(\left\{{\mathbf{x}}_{\mathbf{n}}^{[\mathbf{B}]}\right\}\mid \left\{{\mathbf{x}}_{\mathbf{m}}^{[\mathbf{A}]}\right\}\right)={\left(\prod _{\otimes \mathbf{n}}⟨{\mathbf{x}}_{\mathbf{n}}^{[\mathbf{B}]}\mid \tilde{\mathbf{\psi }}⟩\right)}^2$$

所以

$$P\left(\left\{x_n^{[B]}\right\}\mid \left\{x_m^{[A]}\right\}\right)=\frac{1}{z}({\Pi }_{\otimes n}⟨x_n^{[B]}{\left|{\Pi }_{\otimes m}⟨x_m^{[A]}\mid \psi ⟩\right)}^2$$

代入条件概率公式得：

$$\mathrm{P}\left(\left\{x_n^{[\mathrm{B}]}\right\}\right)=\prod _{\otimes n}{\mathrm{Tr}}_{\left\{x_m^{[\mathrm{A}]}\right\}}⟨x_n^{[\mathrm{B}]}\mid \phi ⟩⟨\phi \mid x_n^{[\mathrm{B}]}⟩=\prod _{\otimes n}⟨x_n^{[\mathrm{B}]}\left|{\mathrm{Tr}}_{\left\{x_m^{(\mathrm{A})}\right\}}\right|\phi ⟩⟨\phi \mid x_n^{[\mathrm{B}]}⟩$$

又因为

$${\hat{\rho }}^{[B]}={\mathrm{Tr}}_{\left\{x_m^{[\mathrm{A}]}\right\}}|\phi ⟩⟨\phi |$$

由此上篇学过的概率公式$\text{P}\left(\left\{x_n^{[\text{B}]}\right\}\right)=\prod _{\otimes n}⟨x_n^{[\text{B}]}\left|{\hat{\rho }}^{[B]}\right|x_n^{[\text{B}]}⟩$得证。

采用逐点生成的方法避免指数级复杂度：

$$P\left(\left\{x_n^{[B]}\right\}\mid \left\{x_m^{[A]}\right\}\right)=\frac{1}{z}({\Pi }_{\otimes n}⟨x_n^{[B]}{\left|{\Pi }_{\otimes m}⟨x_m^{[A]}\mid \psi ⟩\right)}^2$$

步骤如下：

1. 通过$|\psi ⟩$与已知像素$\left\{x_m^{[A]}\right\}$，利用投影公式$|\tilde{\psi }⟩=\frac{1}{Z}{\prod }_{\otimes m}⟨x_m^{[A]}\mid \psi ⟩$计算描述未知像素对应的量子态，记为$|{\tilde{\psi }}^{\text{0}}⟩$；
2. 利用$|{\tilde{\psi }}^{t-1}⟩$计算第t个未知像素$x_t^{[B]}$对应的qubit的约化密度矩阵${\hat{\rho }}_{}^{[t-1]}$，计算该像素的概率分布$P(x)=⟨x\left|{\hat{\rho }}^{[t-1]}\right|x⟩$，并根据该概率分布进行采样，生成该像素$x_t^{[B]}$；
3. 如果仍有未知像素，则根据生成的像素对$|{\tilde{\psi }}^{t-1}⟩$进行投影得到
   $|{\tilde{\psi }}^t⟩=\frac{1}{z}⟨x_t^B|{\tilde{\psi }}^{(t-1)}⟩$，并执行步骤 2

建议：上面的的内容有点难懂，当某个地方没有看懂的时候建议往上看看相应的公式，或许这样能好懂许多。

如果仅知道$|\psi ⟩$而不知道任何像素，$\left\{x_m^{[A]}\right\}$可以把看成空集，也可以通过逐点生成法生成图片。每次通过约化密度矩阵计算出单个像素概率分布后，可通过随机采样生成该像素。可以在获得单个像素概率分布后，计算最概然的像素值作为生成的像素，采用此方法，每个量子态$|\psi ⟩$仅生成一张最概然的图片，被称为量子平均图。

张量网络压缩感知：利用最概然生成法，对图片进行压缩采样，即通过保留尽量少的像素，利用量子态恢复重构出原始图片。其中采样的方法被称为纠缠次序采样协议（EOSP），核心思想是利用纠缠熵衡量不同像素携带的信息量的大小，以此采样纠缠熵大的像素。

三、监督性张量网络机器学习

以分类任务为例，我们需要使用张量网络建立从数据 { x } \{x\} {x}到分类标签$\kappa$的的函数映射$f$，对于概率模型而言，该映射可以由条件概率P给出：

f : { x } → κ ⇒ P ( κ ∣ { x } ) f:\{x\} \rightarrow \kappa \Rightarrow P(\kappa \mid\{x\}) f:{x}→κ⇒P(κ∣{x})

利用张量网络建立条件概率，一种常用的方法就是采用非监督机器学习的方法获得$|\stackrel{⌣}{\psi }⟩$并计算联合概率分布，再通过投影计算获得条件概率。$|\stackrel{⌣}{\psi }⟩$中含有（L+1）个qubit，其中L个qubit对应于图片像素，一个qubit对应于分类标签，因此MPS中含有（L+1）个物理指标。

进行监督学习的具体方法：

1. 将分类标签$\kappa$也当作是特征量，利用训练集进行非监督机器学习，训练量子态$|\stackrel{⌣}{\psi }⟩$；
2. 利用投影计算条件概率 P ( κ ∣ { x } ) = ( ⟨ κ ∣ ∏ ⊗ n ( x n ∣ ψ ~ ⟩ ) 2 P(\kappa \mid \{x\})=\left( \left\langle \kappa \right|\prod\limits_{\otimes n}{{{\left( {{x}_{n}}|\tilde{\psi }\rangle \right)}^{2}}} \right. P(κ∣{x})=(⟨κ∣⊗n∏​(xn​∣ψ~​⟩)2，分类结果即为最概然的标签值argmax${}_{\kappa }$ P ( κ ∣ { x } ) = ( ∏ ⊗ n ( x n ∣ ψ ~ ⟩ ) 2 P(\kappa \mid\{x\})=\left(\prod_{\otimes n}\left(x_{n}|\tilde{\psi}\rangle\right)^{2}\right. P(κ∣{x})=(∏⊗n​(xn​∣ψ~​⟩)2。

注意：量子态归一化条件是张量网络量子概率可解释性的核心

我是一只正在不断学习、希望早日成为小白的小小白，有什么错误欢迎大家批评指正，喜欢的请点个赞哦！