最小二乘法是一种基本的线性回归方法，现总结其矩阵形式的推导。
优化目标
m i n x f ( x ) = ∣ ∣ A x − B ∣ ∣ 2 2 \mathop{min}\limits_{\mathbf{x}}f(\mathbf{x})={||\mathbf{Ax-B||}_2^2} xminf(x)=∣∣Ax−B∣∣22
第一步： l2范式展开
f ( x ) = ( A x − B ) T ( A x − B ) = x T A T A x − B T A x − x T A T B + B T B = x T A T A x − 2 B T A x + B T B \begin{aligned} f(\mathbf{x}) &= \mathbf{ {(Ax-B)^T(Ax-B)}} \\ &= {\mathbf{x^TA^TAx-B^TAx-x^TA^TB+B^TB}} \\ &= {\mathbf{x^TA^TAx-2B^TAx+B^TB}} \end{aligned} f(x)=(Ax−B)T(Ax−B)=xTATAx−BTAx−xTATB+BTB=xT
最低0.47元/天 解锁文章
扫一扫
4214
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
