【机器学习】线性回归相关推导

  在线性回归中，西瓜书 P54 页有如下公式：

$$\begin{align}\frac{\partial{E_{(\omega,b)}}}{\partial \omega} &= 2\left(\omega\sum_{i=1}^{m}x^2-\sum_{i=1}^{m}(y_i-b)\right) \\\frac{\partial{E_{(\omega,b)}}}{\partial b} &= 2\left( mb-\sum_{i=1}^{m}y_i - \omega x_i\right)\end{align}$$

  然后令上面两个式子分别等于零然后求解，可以得到下面的表达式：

$$\omega = \frac{\sum_{i=1}^{m} y_i(x_i - \bar x)}{\sum^{m}_{i=1}x_i^2-\frac{1}{m}\left(\sum_{i=1}^{m}x_i\right)^2}$$
$$b=\frac{1}{m}\sum_{i=1}^{m}(y_i-\omega x_i)\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ $$

  但是书中并没有给出具体的求解过程，由于公式比较难打上来，这里直接贴上图片：

  后续会继续补充相关的内容。