Projectioni Pursuit Regression

介绍

神经网络的中心思想是将输入向量的线性组合作为衍生特征，然后使用非线性函数对衍生向量进行拟合。

Projection Pursuit Regression

国内把PPR译作投影寻踪函数。大致理解就是回归函数将 $p$ 元向量映射为一元变量。这种方法先将 $p$ 维输入向量转化成一元变量，再对一元变量进行回归。

• $输入向量X，X \in \mathbb{R}^p$；
• $w_m,m=1,2,...,M$， $w_m$是p维单位向量

the Projection Pursuit Regression Model(PPR)如下：

$$f(X)=\sum^M_{m=1}g_m(w_m^TX)$$
这是一个加性模型，我们将衍生出来的参数记作 $V_m=w^TX$，可以看到输入由 $p$ 维向量 $X$ 转变为一个标量 $V$。$g_m(w_m^TX)$ 称为岭函数(ridge function)，它只在 $w_m$的方向上变化。标量 $V_m=w^T_mX$实际是将向量 $X$投影到$w_m$的方向上。我们的任务就是寻找投影方向 $w_m$来使估计误差最小。

优点

如果$M$的个数足够大，$g_m$选择合适，$PPR$模型可以足够好地拟合 $\mathbb{R}^p$ 空间里任意连续函数。

缺点

通过变换后输入$X$ 进入模型的途径多样，难以对产生的模型进行合理的解释。

训练PPR模型

给定训练数据$(x_i,y_i),i=1,2,...,N$。要训练求出函数 $g_m$ 和方向向量$w_m，m=1,2,...,M$。

损失函数如下:

$$\sum^N_{i=1}[y_i-\sum^M_{m=1}g_m(w_m^Tx_i)]^2$$
下面以 $M=1$为例来解释：

• 给定方向向量$w$，则$v_i=w^Tx_i$。这个问题就变成了一维的光滑问题，可以使用光滑样条函数来拟合求$g$。
• 给定 $g$，我们的任务是通过调整$w$来最小化误差函数。

高斯牛顿迭代法:

$$g(w^Tx_i) \approx g(w_{old}^Tx_i)+g'(w_{old}^Tx_i)(w-w_{old})^Tx_i$$

$$\sum^N_{i=1}[y_i-g(w^Tx_i)]^2 \approx \sum^N_{i=1}g'(w^T_{old}x_i)^2[(w_{old}^Tx_1+\frac{y_i-g(w_old^Tx_i)}{g'(w^T_{old}x_i)})-w^Tx_i]^2$$