线性回归和最小二乘

关于线性回归一直都知道是那么回事，方差最小啥的。但是涉及到计算方法或者代码啥的，也是不太了解，最近就做了个全面的总结，数学公式比较麻烦，所以直接上祖传手稿
***
首先是因为我某天遇到个这样的问题，想知道最大似然估计和最小二乘的区别，下面的例子其实是来源知乎的一个答案，但有助理解，就写下来了



***
这幅图是最小二乘的矩阵解法的公式推算，这种解法是最小二乘的**逆矩阵解法**，还有一种解法是**梯度下降**，在下面也罗列了大概的优缺点，这里和上面那个图有个地方的转换就是   图上右方的h(x) = Wx



目前梯度下降的公式我还没自己推算一遍，所以先没放上来


***


最后这个是一元线性回归下的计算y = ax+b



[这里github](https://github.com/pengjiawei/LS)有我写的一个简单的代码，就是根据最后这个计算a和b的公式计算出来并且画图的