线性回归（目标函数的推导）

跟我一起机器学习系列文章将首发于公众号：月来客栈，欢迎文末扫码关注！

1 线性回归

1.1 目标函数

经过前面多篇文章的介绍，我们知道了什么是线性回归、怎么转换求解问题、如何通过sklearn进行建模并求解以及梯度下降法的原理与推导。同时，在上一篇文章中我们还通过一个故事来交代了最小二乘法的来历，以及误差服从高斯分布的事实。下面这篇文章就来完成两个任务：线性回归的推导以及Python代码的实现

根据前面的介绍，现在我们对线性回归的目标函数做如下定义：设样本为$(x^{(i)},y^{(i)})$，对样本的观测（预测）值记为${\hat{y}}^{(i)}=W^T{x}^{(i)}+e^{(i)}$，则有：
$$y^{(i)}=W^T{x}^{(i)}+b+e^{(i)}\text{\hspace{1em}(1)}$$
其中$e^{(i)}$表示第$i$个样本预测值与真实值之间的误差，$W$和$x^{(i)}$均为一个列向量；同时由于误差$e^{(i)}$服从均值为$0$的高斯分布，于是有：
$$f(e^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(e^{(i)}-0{)}^2}{2{\sigma }^2}\right)\text{\hspace{1em}(2)}$$
于是将$(1)$带入$(2)$有：
$$f(e^{(i)})=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{[y^{(i)}-(W^T{x}^{(i)}+b){]}^2}{2{\sigma }^2}\right)\text{\hspace{1em}(3)}$$
此时请注意看等式$(3)$的右边部分（从右往左看），站在$y^{(i)}$的角度看，显然是随机变量$y^{(i)}$是服从以$(W^T{x}^{(i)}+b)$为均值的正态分布（想想正态分布的表达式）。又由于此时的密度函数与参数$\theta ,x$有关（即随机变量$(y^i)$是$x^{(i)},W,b$下的条件分布），于是有：
$$p(y^{(i)}|x^{(i)};W,b)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{[y^{(i)}-(W^T{x}^{(i)}+b){]}^2}{2{\sigma }^2}\right)\text{\hspace{1em}(4)}$$
到目前为止，也就是说此时真实值$y^{(i)}$服从均值为$(W^T{x}^{(i)}+b)$，方差为${\sigma }^2$的正态分布。同时，由于$(W^T{x}^{(i)}+b)$是依赖于参数$W,b$的变量，那么什么样的一组参数