1 最小二乘法及代数求解
最小二乘法中的「二乘」代表平方,最小二乘也就是最小平方。
例如,使用最小二乘法求解平方损失函数最小值,推导如下:
首先,平方损失函数为:
f = ∑ i = 1 n ( y i − ( w 0 + w 1 x i ) ) 2 f = \sum\limits_{i = 1}^n {
{
{(y_{i}-(w_0 + w_1x_{i}))}}^2} f=i=1∑n(yi−(w0+w1xi))2
求取平方损失函数𝑚𝑖𝑛(𝑓) 最小时,对应的 𝑤。首先求 𝑓 的 1 阶偏导数:
∂ f ∂ w 0 = − 2 ( ∑ i = 1 n y i − n w 0 − w 1 ∑ i = 1 n x i ) \frac{\partial f}{\partial w_{0}}=-2(\sum_{i=1}^{n}{y_i}-nw_{0}-w_{1}\sum_{i=1}^{n}{x_i}) ∂w0∂f=−2(i=1∑nyi−nw0−w1