核典型相关性分析(Kernel Canonical Correlation Analysis, KCCA)是典型相关性分析(Canonical Correlation Analysis, CCA)的非线性扩展
,它允许分析者在高维特征空间中寻找两组变量之间的相关性
,而无需显式地构造高维空间的特征向量。
这是通过使用核技巧
(kernel trick)实现的,核技巧允许在原始低维空间
中计算高维空间的内积
,避免了维度灾难
带来的计算复杂性。
KCCA的基本原理
KCCA的目标是找到两组变量
X
\mathbf{X}
X 和
Y
\mathbf{Y}
Y 在高维特征空间中的非线性投影
,使得投影后的变量之间有最大相关性
。这里的
X
\mathbf{X}
X 和
Y
\mathbf{Y}
Y 可以是两组观测数据
,比如一组图像
和一组描述这些图像的文字。
KCCA的公式
给定数据集
X
=
{
x
1
,
x
2
,
…
,
x
n
}
\mathbf{X} = \{x_1, x_2, \ldots, x_n\}
X={x1,x2,…,xn} 和
Y
=
{
y
1
,
y
2
,
…
,
y
n
}
\mathbf{Y} = \{y_1, y_2, \ldots, y_n\}
Y={y1,y2,…,yn},其中
x
i
x_i
xi 和
y
i
y_i
yi 分别属于
X
\mathbf{X}
X 和
Y
\mathbf{Y}
Y 。
KCCA试图找到投影方向
α
\alpha
α 和
β
\beta
β,使得在映射到高维空间后的
ϕ
(
x
)
\phi(x)
ϕ(x) 和
ϕ
(
y
)
\phi(y)
ϕ(y) 上的投影
α
T
ϕ
(
x
)
\alpha^T\phi(x)
αTϕ(x) 和
β
T
ϕ
(
y
)
\beta^T\phi(y)
βTϕ(y) 有最大相关性。
公式细节
为了简化问题,我们通常使用中心化
的数据,即
X
\mathbf{X}
X 和
Y
\mathbf{Y}
Y 的数据已经被减去了平均值。接下来,KCCA试图最大化下面的比率:
ρ = cov ( α T ϕ ( X ) , β T ϕ ( Y ) ) var ( α T ϕ ( X ) ) var ( β T ϕ ( Y ) ) \rho = \frac{\text{cov}(\alpha^T\phi(\mathbf{X}), \beta^T\phi(\mathbf{Y}))}{\sqrt{\text{var}(\alpha^T\phi(\mathbf{X}))\text{var}(\beta^T\phi(\mathbf{Y}))}} ρ=var(αTϕ(X))var(βTϕ(Y))cov(αTϕ(X),βTϕ(Y))
这里,
-
α
\alpha
α 和
β
\beta
β 是
投影方向向量。
-
ϕ
(
X
)
\phi(\mathbf{X})
ϕ(X) 和
ϕ
(
Y
)
\phi(\mathbf{Y})
ϕ(Y) 是数据集
X
\mathbf{X}
X 和
Y
\mathbf{Y}
Y
映射到高维空间的结果。
-
cov
\text{cov}
cov 是
协方差函数。
-
var
\text{var}
var 是
方差函数。
但是,直接计算上述公式中的高维空间的内积
是不可行的,因此我们使用核函数
k
(
⋅
,
⋅
)
k(\cdot, \cdot)
k(⋅,⋅) 来代替内积,这样可以避免显式地构造高维空间的向量。核函数是定义在原始数据空间上的
,满足默瑟条件,即
k
(
x
,
y
)
=
⟨
ϕ
(
x
)
,
ϕ
(
y
)
⟩
k(x, y) = \langle\phi(x), \phi(y)\rangle
k(x,y)=⟨ϕ(x),ϕ(y)⟩。
KCCA的优化问题
最终的优化问题是求解下列广义特征值问题:
K x y β = λ K y y β \mathbf{K}_{xy}\beta = \lambda\mathbf{K}_{yy}\beta Kxyβ=λKyyβ
和
K y x α = λ K x x α \mathbf{K}_{yx}\alpha = \lambda\mathbf{K}_{xx}\alpha Kyxα=λKxxα
这里,
-
K
x
y
\mathbf{K}_{xy}
Kxy 是
X
\mathbf{X}
X 和
Y
\mathbf{Y}
Y
之间的核矩阵
,其中 K x y ( i , j ) = k ( x i , y j ) \mathbf{K}_{xy}(i,j) = k(x_i, y_j) Kxy(i,j)=k(xi,yj)。 -
K
x
x
\mathbf{K}_{xx}
Kxx 和
K
y
y
\mathbf{K}_{yy}
Kyy 分别是
X
\mathbf{X}
X 和
Y
\mathbf{Y}
Y
自身的核矩阵
。 -
α
\alpha
α 和
β
\beta
β 是与
最大特征值
λ \lambda λ对应的特征向量
,它们定义了 X \mathbf{X} X 和 Y \mathbf{Y} Y 的投影方向。
通过求解上述广义特征值问题
,我们可以获得投影方向
α
\alpha
α 和
β
\beta
β,进而找到两组变量在高维空间中的最大相关性投影。