24、核偏最小二乘回归的优化视角

核偏最小二乘回归的优化视角

1. 核中心化操作

核中心化是核方法中的重要步骤。对于训练核，先从列元素中减去列的平均值，然后从每一行元素中减去修改后训练核行的平均行值。训练的平均列值可以存储在内存中，用于以类似的方式对测试核进行中心化。对于测试核的中心化，先从测试核的每个列元素中减去训练核列的平均值，接着从最近修改后的测试核的每个行元素中减去平均行值。需要注意的是，核不一定是方阵。

2. 核回归方法比较

2.1 方法介绍

在基准研究中考虑的不同方法包括：
1. 线性偏最小二乘（PLS）
2. 线性近端支持向量机（P - SVM Lin）
3. Rosipal和Trejo提出的带核中心化的K - PLS算法（K - PLS）
4. 直接核偏最小二乘（DK - PLS），直接对中心化后的核矩阵进行分解
5. 最小二乘支持向量机（LS - SVM），也称为核岭回归，应用于中心化后的核
6. 最小二乘支持向量机的简化形式（LS - RSVM），应用于中心化后的核
7. SVM - Torch中实现的经典SVM，该方法的核不进行中心化

其中，LS - SVM通过求解以下方程组得到解：
((K + \lambda I)\alpha = y) (11.22)
得到函数：
(f(x) = y^T(K + \lambda I)^{-1}k) (11.23)
其中 (k_i = K(x, x_i), i = 1, \ldots, m)。

LS - RSVM方法通过求解以下方程构建：
((K^TK\alpha - \l