统计学习精要 (Elements of Statistical Learning ) 习题 14.7

Derive (14.51) and (14.52) in Section 14.5.1. Show that $\hat{\mu}$ is not unique, and characterize the family of equivalent solutions.

解答思路：

14.51 和 14.52 是 14.50 的解。对14.50的函数分别求偏导解方程组。

令

$$L = \sum_{i=1}^N \| x_i - \mu - V_q \lambda_i \|^2$$
可以有
$$\frac{\partial{L} }{ \partial{\mu}} = 2 \sum_{i=1}^N (\mu - x_i + V_q \lambda_i )$$
$$\frac{\partial{L} }{ \partial{\lambda_i}} = 2 V_q^T (\mu - x_i + V_q \lambda_i )$$

令二者为零，则有

$$\lambda_i = V_q^T (x_i - \mu )$$

代入$\frac{\partial{L} }{ \partial{\mu}}$ 则有

$$\sum_{i=1}^N (\mu - x_i + V_q V_q^T ( x_i - \mu )) = (I - V_q V_q^T)\sum_{i=1}^N (x_i - \mu ) = 0$$

$I - V_q V_q^T$ 是 $V_q$ 所 span 的子空间的null space 的投影矩阵。因此只要

$$\mu = \bar{x} + V_q a$$
$V_q a$ 是 $V_q$ 的任意线性组合。其中 $\mu=\bar{x}$是一个特解。