qq_39719539的博客

原创 2020fall ucb mfe 面试

原创 线性回归投影矩阵H的性质

线性回归投影矩阵H的性质在线性回归中，H=X(XTX)−1XT H = X(X^T X)^{-1} X^T H=X(XTX)−1XT, H 是投影矩阵，将向量y映射到X张成的线性空间中。H性质有：H 是对称矩阵, so 存在正交矩阵Q, s.t. H=QΛQT. H = Q\Lambda Q^T.H=QΛQT.H 总是半正定矩阵.对于任意的向量b, Hb 将b投影到Col(X). 那么bT b^T bT 与 Hb之间的夹角肯定是锐角，所以bTHb≥0b^T H b \ge 0 bTHb≥