数据学习(6)·Alternating Conditional Expectations(ACE)算法

最新推荐文章于 2022-07-25 10:48:10 发布

冈仁波齐下写一串优美的代码

最新推荐文章于 2022-07-25 10:48:10 发布

阅读量2.6k

点赞数 4

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/m0_37846020/article/details/84192647

版权

机器学习专栏收录该内容

22 篇文章 0 订阅

订阅专栏

作者课堂笔记，联系方式humminwang@163.com
这块比较难，表述不清楚的话还是希望读者好好去钻研几篇文章，祝好～

Preview

1. 最大相关
1. SVD奇异值分解
1. Power iteration算法
1. ACE算法
1. 编程实现ACE

1 最大相关(Maximal Correlation)

在监督学习中，且 $X, Y$ 是离散的， $X$ 表示数据, $Y$ 表示标签，我们想要更好找到数据和标签之间的联系，也就是在数据中找到关于标签的信息。我们就是想找到 $X Y$ 交集并且使之最大化。
根据HGR(Hirschfeld-Gebelein-Renyi)理论,最大相关是一种有效的方式来测量两个随机变量之间的相关性。在推理问题中，最大相关函数可以被视为观察数据的所谓特征，其携带关于一些潜在变量的大量的信息。这些特征通常是非线性函数，并且在处理高维观测数据时特别有用。最大相关函数如下，它是一个众所周知的Pearson相关系数的变分推广，最初作为两个随机变量之间依赖关系的标准化度量引入。
在这里插入图片描述
其中 $f$ 和 $g$ 可以被理解为数据集的特征信息和标签的特征信息。之后我们介绍的ACE算法是一种计算最大相关的有效方法。

2 SVD奇异值分解

具体可以收看麻省理工学院的线性代数https://www.bilibili.com/video/av14776429/?p=30

任何一个矩阵都可以被奇异值分解并且分解为正交矩阵乘对角矩阵乘正交矩阵。
$A=U\Sigma V^T$
如下图，说明了SVD的真实目标。

SVD的本质就是在行空间中寻找一组正交基变换到列空间中一组正交基。
$A[v_1,v_2....v_r]=[u_1....u_r]\begin{bmatrix}\sigma_1&...&...\\...&...&...\\...&...&\sigma_r\end{bmatrix}$
矩阵表示 $AV=U\Sigma$
存在问题：

如何找到在行空间的一组正交基？
我们可以知道利用Graham-Schmidt正交化方法完全可以在列空间找到这样一组正交基。
行空间的正交基经过变换到列空间是否仍旧正交？
我们需要找到这样一组正交基使得A作用于行空间基向量上，到列空间也能保持正交。
如何找到这样的U和V？
我们通过 $AA^T$ 可以找到对应的U，成为左奇艺向量，通过 $A^TA$ 可以找到对应的V称为右奇艺向量。

$A^TA=V\Sigma^TU^TU\Sigma V^T=V\Sigma^2V^T$
因为矩阵是对称正定的，那么我们经过特征值分解就可以直接分解为互相正交的单位向量，也就实现了V。同理可以寻找到U。

3 Power Iteration算法

Power iteration 算法可以用来计算矩阵(假设矩阵为M)的最大特征向量。
特征向量： $\psi_1,\psi_2.....\psi_n$
特征值： $\lambda_1,\lambda_2...\lambda_n$
满足： $A\psi_i=\lambda_i\psi_i$

算法描述如下：
$A=U\Sigma V^T$

<1> 选择一个向量 $v_1=\alpha_1\psi_1+\alpha_2\psi_2+....+\alpha_n\psi_n$
<2> 开始计算 $v_2=Av_1/||Av_1||$
<3> 迭代步骤<2>，最终收敛于最大的特征向量。
原理： $A^kv_1=\lambda_1^k\alpha_1\psi_1+...\lambda_n^k\alpha_n\psi_n\approx\lambda_1^k\alpha_1\psi_1,\quad\lambda_1>\lambda_2....>\lambda_n$

4 ACE算法(Alternating Conditional Expectations)

我们使用的ACE 算法可以解释为计算概率分布空间之间的线性映射的奇异值分解。
同样回到初始问题：

上式可以通过概率方式转变为:
$Constrains:\sum P_Xf(x)=\sum P_Yg(y)=0$
$\sum P_X(x)f^2(x)=\sum P_Y(y)g^2(y)=1$

$Prim:E_{XY}[f(x)g(y)]=\sum P_{XY}f(x)g(y)$
$...=\sum_{x,y}\frac{P_{XY}(x,y)}{\sqrt{P_X(x)}\sqrt{P_Y(y)}}(\sqrt{P_X(x)}f(x))(\sqrt{P_Y(y)}g(y))$
$...=\sum_{x,y}\frac{P_{XY}(x,y)}{\sqrt{P_X(x)}\sqrt{P_Y(y)}}\phi(x)\psi(y)=\psi^TB\phi$
我们使 $\sqrt{P_X(x)}f(x)$ 为 $\phi(x)$ , $\sqrt{P_Y(y)}g(y)$ 为 $\psi(y)$ .
原式可以被化为：
$max(\psi^TB\phi)\quad s.t.<\sqrt{P_X(x)},\phi>=<\sqrt{P_Y(y)},\psi>=0$
$||\psi||=||\phi||=1$
我们可以将B矩阵进行SVD，发现 $\sqrt{P_X}，\sqrt{P_Y}$ 实际上是B的最大奇艺向量。
将B分解如下：
$Singular\quad Value:\sigma_1≥\sigma_2....\sigma_n$
$Singular\quad Vector:\psi_1,....\psi_n;\phi_1,...\phi_n$
满足 $\sigma_1=1,B\sqrt{P_X}=\sqrt{P_Y},B^T\sqrt{P_Y}=\sqrt{P_X}$
在此我们不能选择 $\psi,\phi$ 使之为最大奇艺向量，因为不满足原问题约束。
于是我们选择第二大的奇艺向量作为我们的目标解。
$\psi=\psi_2 \quad\phi=\phi_2$
让 $\psi^*,\phi^*$ 是 $B$ 矩阵的第二奇异向量，所以：
$f(x)=\frac{1}{\sqrt{P_X}}\phi^*(x),\quad g(y)=\frac{1}{\sqrt{P_Y}}\psi^*(y)$
我们可以通过 $Power\quad Iteration$ 来计算特征向量，根据之前的 $S V D$ ，我们可知 $B$ 的特征向量就是 $B^TB,BB^T$ 的特征向量。
计算 $B$ 的第二奇异向量：

<1> 选择 $\phi^{(1)}$
<2> $B\phi^{(1)}=\psi^{(1)}$ , $B^T\psi^{(1)}=\phi^{(2)}$ (步骤<2>可以理解为 $\phi^{(2)}=B^TB\phi^{(1)}$ , $\psi^{(2)}=BB^T\psi^{(1)}$ )
<3> 循环做<2>
最终收敛于第二奇异向量。由此可以计算 $f (x), g (y)$ 从而计算最大相关函数 $E [f (x) g (y)]$ 。

$B\phi(y)=\sum_xB(y,x)\phi(x)$ ,使 $\phi(x)=\sqrt{P_X(x)}f(x)$ ,
$B\phi=\psi=\sum_x\frac{P_{XY}(x,y)}{\sqrt{P_X(x)}\sqrt{P_Y(y)}}(\sqrt{P_X(x)}f(x))$
$...=\frac{1}{\sqrt{P_Y(y)}}\sum_xP_{XY}(x,y)f(x)=\sqrt{P_Y(y)}\sum_xP_{XY}(x|y)f(x)$
$\psi(y)=\sqrt{P_Y(y)}E[f(x)|Y=y]$
所以：
$g (y) = E [f (x) ∣ Y = y]$
如果 $\phi=\sqrt{P_X(x)}f(x),\psi=\sqrt{P_Y(y)}g(y)$ ,可以推出 $\psi^{(1)}=B\phi^{(1)}$ ,则 $g^{(1)}(y)=E[f^{(1)}(x)|Y]$ 。