Functional Principal Component Regression and Functional Partial Least Squares

1前言

Functional Data Analysis （FDA）比较热门，好多算法都出来Functional版本。网上有些评论好像对此评价不高，不过目前已经能找到不少支持FDA的工具包，至少开始有一些生态，应该还是有一些用处。
前面几篇文章所讲得，仅仅是将拟合信号，还不是真正意义上得回归建模

2 传统模型与functional模型比较

大致罗列一下常见得几种functional 回归模型和传统的回归做对比。详情见参考文献1

2.1 signal regression

$$\Vert \mathbf{y}-\alpha 1-\mathbf{X}\omega {\Vert }^2$$
$\mathbf{y}\in {\mathbb{R}}^{m\times 1},\alpha \in \mathbb{R},\mathbf{X}\in {\mathbb{R}}^{m\times n},\omega \in {\mathbb{R}}^{n\times 1}$。$\alpha ，\omega$为待求系数。FDA的处理情况中，通常有$m\ll n$。

2.2 B-Spline Expansion

$$\Vert \mathbf{y}-\alpha 1-\mathbf{X}\mathbf{B}\mathbf{\beta }{\Vert }^2$$
$\mathbf{B}$是基函数，离散代替连续，一列代表一个基函数。这里用design matrix $\mathbf{X}\mathbf{B}$代替了$\mathbf{X}$,背后的意义比较明显。通过 B-Spline的曲线拟合，可以将$\mathbf{X}$的一行，即一条曲线，作为B-Spline的基函数展开得到$\hat{\mathbf{X}}$，用来代替原来的$\mathbf{X}$,$\hat{\mathbf{X}}$的计算过程如下
$$\begin{gathered} \Vert {\mathbf{X}}^T-\mathbf{B}\mathbf{A}\Vert \Rightarrow {\mathbf{A}={\mathbf{B}}^{+}\mathbf{X}}^T \\ \Rightarrow \hat{\mathbf{X}}=(\mathbf{B}{\mathbf{B}}^{+}{\mathbf{X}}^{\mathbf{T}}{)}^{\mathbf{T}}=\mathbf{X}\mathbf{B}({\mathbf{B}}^{\mathbf{T}}\mathbf{B}{)}^{-1}{\mathbf{B}}^{\mathbf{T}} \end{gathered}$$代入到普通最小二乘回归中得到

$$\Vert \mathbf{y}-\alpha 1-\hat{\mathbf{X}}\omega {\Vert }^2=\Vert \mathbf{y}-\alpha 1-\mathbf{X}\mathbf{B}({\mathbf{B}}^{\mathbf{T}}\mathbf{B}{)}^{-1}{\mathbf{B}}^{\mathbf{T}}\omega {\Vert }^2$$
到这里已经相当明显，就是将$\omega$投影到$\mathbf{B}$的空间,投影部分用$\mathbf{B}\mathbf{\beta }$表示，就得到了B-Spline Expansion的目标式子。后面谈到的functional PCR和functional PLS也是照样画葫芦。

2.3 Penalized B-Spline Expansion（PBSE）

$$\Vert \mathbf{y}-\alpha 1-\mathbf{X}\mathbf{B}\mathbf{\beta }{\Vert }^2+\lambda {\mathbf{\beta }}^T{\mathbf{P}}^T\mathbf{P}\mathbf{\beta }$$

$\mathbf{P}$跟系数的差分阶次有关，跟前面的文章原理差不多。前面主要是对$\mathbf{X}$的拟合，后者主要用来做回归。

2.4 Principal Component Regression

$${\Vert \mathbf{y}-\alpha 1-\mathbf{X}{\mathbf{V}}_A\zeta \Vert }^2$$
${\mathbf{V}}_A$是$\mathbf{X}$奇异分解的右奇异矩阵，代表了 $\mathbf{X}$的主成分方向，$\zeta$为待求系数

2.5 FUNCTIONAL PRINCIPAL COMPONENT REGRESSION WITH B-SPLINE

$${\Vert \mathbf{y}-\alpha 1-\mathbf{X}\mathbf{B}{\mathbf{V}}_A\zeta \Vert }^2$$
显然，这个目标式对于追求系数平滑的FDA是不够的，文献列了两个方法，并相应地取了有趣的名称。

2.6 {functional principal component} regression（$FPC{R}_C$）

$$\frac{{\mathbf{v}}^T{\mathbf{B}}^T{\mathbf{X}}^T\mathbf{X}\mathbf{B}\mathbf{v}}{{\mathbf{v}}^T\left(\mathbf{I}+\lambda {\mathbf{P}}^T\mathbf{P}\right)\mathbf{v}}$$
求取特征向量地时候，要求特征向量本身地系数比较平滑。在如何确定$\lambda$，文章提到的方法就不是那么直观了。略

2.7 functional {principal component regression} ($FPC{R}_R$)

$${\Vert \mathbf{y}-\alpha 1-{\mathbf{X}\mathbf{B}\mathbf{V}}_A\zeta \Vert }^2+\lambda {\zeta }^T{\mathbf{V}}_A^T{\mathbf{P}}^T{\mathbf{P}\mathbf{V}}_A\zeta$$
PBSE可以看作上式的特殊形式

2.8 Partial Least Squares With Smooth Factor

$${\mathbf{p}}_a^T{\mathbf{E}}_{a-1}^T{\mathbf{f}}_{a-1}{\mathbf{f}}_{a-1}^T{\mathbf{E}}_{a-1}{\mathbf{p}}_a-\lambda {\mathbf{p}}_a^T{\mathbf{V}}^T\mathbf{V}{\mathbf{p}}_a$$
仍然对权值进行平滑，对应于$FPC{R}_C$

2.9 Functional Partial Least Square

$${\Vert \mathbf{y}-\alpha 1-{\mathbf{X}\mathbf{B}\mathbf{R}}_A\zeta \Vert }^2+\lambda {\zeta }^T{\mathbf{R}}_A^T{\mathbf{P}}^T{\mathbf{P}\mathbf{R}}_A\zeta$$
在总目标式中，对系数进行惩罚，对应于$FPC{R}_R$。${\mathbf{R}}_A$是PLS模型中，各个成分，对应的权值（基于原始矩阵，非残差），个人认为这种方式最直接一些，前面对于权值，虽然直觉上，也有平滑作用，总觉得有些隔靴搔痒。

3 $\lambda$的选择

前面列了很多目标式，都带有$\lambda$，作者列了三种，除了第一种知道一些，其他的也没看明白，当作工具用吧

3.1. cross-validation (GCV) criterion

$$\begin{gathered} \frac{1}{n}{\Vert \left(\mathbf{I}-{\mathbf{H}}_{\lambda }\right)\mathbf{y}\Vert }^2/{\left[\frac{1}{n}\mathrm{tr}(\mathbf{I}-{\mathbf{H}}_{\lambda })\right]}^2 \\ \hat{\mathbf{y}}={\mathbf{H}}_{\lambda }\mathbf{y} \end{gathered}$$
前文讲到过这个

3.2. linear unbiased prediction (BLUP) criterion for the linear mixed mode

$${\mathbf{V}}_A^T{\mathbf{P}}^T\mathbf{P}{\mathbf{V}}_A\stackrel{SVD}{=}{\mathbf{U}}_{\ast }{\mathbf{D}}_{\ast }{\mathbf{U}}_{\ast }^{\mathbf{T}}$$
$${\mathbf{U}}_{\ast }{\mathbf{D}}_{\ast }{\mathbf{U}}_{\ast }^T={\mathbf{U}}_{\ast }{\mathbf{D}}_1\left(\begin{array}{cc}{\mathbf{I}}_s& 0\\ 0& 0\end{array}\right){\mathbf{D}}_1{\mathbf{U}}_{\ast }^T$$
$${\Vert \mathbf{y}-\alpha 1-{\mathbf{X}\mathbf{B}\mathbf{V}}_A{\mathbf{U}}_{\ast }{\mathbf{D}}_1^{-1}{\zeta }_1\Vert }^2+\lambda {\xi }_1^T\left(\begin{array}{cc}{\mathbf{I}}_s& 0\\ 0& 0\end{array}\right){\xi }_1$$

3.3mean integrated squared error (MISE) of $\hat{\omega }$

$$\mathbf{M}\mathbf{I}\mathbf{S}\mathbf{E}=\sum _{i=1}^{N}E\left[{\left({\hat{\omega }}_i-{\omega }_i\right)}^2\right]$$

4 小结

这篇文章从SR出发，讨论了普通回归模型，再介绍PCR和PLS，最后利用B-Spline regression，将FDA加入到PCR和PLS中。其实本质上还是比较简单，先用B-Spline替换原来的样本数据$X$，然后，为了平滑的目的，加入相应的惩罚项目，最后利用几种标准确定惩罚因子。文章写得相对浅显易懂，就是几个筛选标准没看明白，也没时间多做研究，后面是算法的实验结果，没去重现。functional目前虽然热度不算低，但是就应用上的效果，似乎并不惊人，毕竟原来已有的算法，已经达到相当的程度，再想有大的飞跃，估计是不容易的。这篇文章就读到这里吧。

参考文献

1. Reiss P T , Ogden R T . Functional Principal Component Regression and Functional Partial Least Squares[J]. Journal of the American Statistical Association, 2007, 102(479):984-996.