核岭回归(Kernel Ridge Regression)

Ridge Regression

我们先考虑最简单的线性回归问题，

$$y={\mathbf{w}}^{T}x+ϵ,ϵ\sim \mathcal{N}(0,\sigma ),w_i\sim \mathcal{N}(0,1)$$

于是，我们参数w估计的loss函数可以写作：

$$J(\mathbf{w})=(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})+\lambda \Vert \mathbf{w}{\Vert }^2$$

其中X是一个样本矩阵，每一行是一个样本，y则是label的向量。
于是我们求他的最优值：

$$\begin{array}{rl}{\nabla }_{\mathbf{w}}J(\mathbf{w})& ={\nabla }_{\mathbf{w}}tr\left((\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})\right)+2\lambda \mathbf{w}\\ & ={\nabla }_{\mathbf{w}}tr\left(\left({\mathbf{y}}^T-{\mathbf{w}}^T{\mathbf{X}}^{\mathbf{T}}\right)(\mathbf{y}-\mathbf{X}\mathbf{w})\right)+2\lambda \mathbf{w}\\ & ={\nabla }_{\mathbf{w}}tr\left({\mathbf{y}}^{\mathbf{T}}\mathbf{y}-{\mathbf{y}}^{\mathbf{T}}\mathbf{X}\mathbf{w}-{\mathbf{w}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}+{\mathbf{w}}^{\mathbf{T}}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{w}\right)+2\lambda \mathbf{w}\\ & =-{\mathbf{X}}^{\mathbf{T}}\mathbf{y}-{\mathbf{X}}^{\mathbf{T}}\mathbf{y}+2{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{w}+2\lambda \mathbf{w}\\ & =-2{\mathbf{X}}^{\mathbf{T}}\mathbf{y}+2\left({\mathbf{X}}^{\mathbf{T}}\mathbf{X}+\lambda \mathbf{I}\right)\mathbf{w}=0\\ \mathbf{w}& ={\left({\mathbf{X}}^{\mathbf{T}}\mathbf{X}+\lambda \mathbf{I}\right)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}\end{array}$$

Kernel Ridge Regression

这个形式因为有一项X没有办法写成内积的形式，所以我们需要将其转换，这里用到一个Matrix inversion lemma (MLAPP Page 117)的引理：

Matrix inversion lemma: 考虑一个一般的矩阵分割 $\mathbf{M}=\left(\begin{array}{ll}\mathbf{E}& \mathbf{F}\\ \mathbf{G}& \mathbf{H}\end{array}\right)$，假设E和H都是可逆的于是有

$$\begin{array}{rl}{\left(\mathbf{E}-{\mathbf{F}\mathbf{H}}^{-1}\mathbf{G}\right)}^{-1}& ={\mathbf{E}}^{-1}+{\mathbf{E}}^{-1}\mathbf{F}{\left(\mathbf{H}-{\mathbf{G}\mathbf{E}}^{-1}\mathbf{F}\right)}^{-1}{\mathbf{G}\mathbf{E}}^{-1}\\ {\left(\mathbf{E}-{\mathbf{F}\mathbf{H}}^{-1}\mathbf{G}\right)}^{-1}{\mathbf{F}\mathbf{H}}^{-1}& ={\mathbf{E}}^{-1}\mathbf{F}{\left(\mathbf{H}-{\mathbf{G}\mathbf{E}}^{-1}\mathbf{F}\right)}^{-1}\\ \left|\mathbf{E}-{\mathbf{F}\mathbf{H}}^{-1}\mathbf{G}\right|& =\left|\mathbf{H}-{\mathbf{G}\mathbf{E}}^{-1}\mathbf{F}\Vert {\mathbf{H}}^{-1}\Vert \mathbf{E}\right|\end{array}$$

我们使用第二条逆的公式对上述w的最优解进行化简，令${\mathbf{H}}^{-1}\triangleq {\lambda }^{-1}\mathbf{I},\mathbf{F}\triangleq {\mathbf{X}}^{\mathbf{T}},\mathbf{G}\triangleq -\mathbf{X},\mathbf{E}\triangleq \mathbf{I}$，于是

$${\left(\mathbf{E}-{\mathbf{F}\mathbf{H}}^{-1}\mathbf{G}\right)}^{-1}{\mathbf{F}\mathbf{H}}^{-1}={\left(\mathbf{I}+{\mathbf{X}}^{\mathbf{T}}{\lambda }^{-1}\mathbf{X}\right)}^{-1}{\mathbf{X}}^{\mathbf{T}}{\lambda }^{-1}=\left(\lambda \mathbf{I}+{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\right){}^{-1}{\mathbf{X}}^{\mathbf{T}}$$

使用公式:

$$\begin{array}{rl}\mathbf{w}& ={\left({\mathbf{X}}^{\mathbf{T}}\mathbf{X}+\lambda \mathbf{I}\right)}^{-1}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}\\ & ={\mathbf{X}}^{\mathbf{T}}{\left(\lambda \mathbf{I}+\mathbf{X}{\mathbf{X}}^{\mathbf{T}}\right)}^{-1}\mathbf{y}\end{array}$$

现在，距离kernel化很接近了，我们剩下的任务就是当一个新的样本进来时，比如说$x^{\ast }$，想要预测$y^{\ast }$，现在，为了更清晰展示kernel化的过程，我们将w写成向量求和的形式，设

$$\mathbf{\alpha }\triangleq (\mathbf{K}+\lambda {\mathbf{I}}_N{)}^{-1}\mathbf{y}$$

于是w可以改写为

$$\mathbf{w}={\mathbf{X}}^T\mathbf{\alpha }=\sum _{i=1}^N{\alpha }_i{\mathbf{x}}_i$$

我们发现w其实只是所有样本的一个加权平均。于是，对于一个新样本的预测值为：

$$y^{\ast }={\mathbf{w}}^T{x}^{\ast }=\sum _{i=1}^N{\alpha }_i{\mathbf{x}}_i^T{x}^{\ast }=\sum _{i=1}^N{\alpha }_{i}k\left(x^{\ast }{,\mathbf{x}}_i\right)$$

预测也只是新样本与所有旧样本内积的加权平均。

与高斯过程的联系

一个值得说明的事情是，ridge regression跟高斯过程是有很深刻的联系的，因为高斯过程就是假设所有的参数还有变量都是高斯分布，而同样的ridge也是假设w的先验分布是高斯分布（见 ），唯一区别是，ridge regression只考虑了预测y的均值，而没有考虑预测y的方差。在高斯过程中我们要预测y*的分布$p\left(y^{\ast }|y,x,x^{\ast }\right)$是一个高斯分布，而这个高斯分布的均值就是ridge regression的预测值。

与HSIC的联系

在这里将指出最小化残差其实等价于最大化HSIC，也就是在最大化某种独立性。
现在我们将w的结果回代到公式loss函数中，可以发现：

参考资料

https://www.zhihu.com/question/20447622

Murphy, Kevin P. Machine learning: a probabilistic perspective. MIT press, 2012.