初级算法班（1) ——优化算法和线性回归

写在前面：

     本次作业分为两个博客来提交的，由于提前没有熟悉csdn的Markdown语法，所以有的公式就没有自己打出来，标题也不是很规范，有的部分就用图片来代替，下次提交作业尽量使用Markdown方法，让博客至少从格式上看着比较舒服。

一. 最小二乘法

1）.使误差平方和达到最小以寻求估计值的方法，就叫做最小二乘法，也可以叫做最小二乘准则，求解最小二乘准则的方法就是狭义上的最小二乘法，最小二乘准则用函数表示就是   

2）我的理解是最小二乘有广义和狭义之分，广义的最小二乘叫做最小二乘准则，是一种对于偏差程度的评估准则，相当于损失函数一样，是一个判断标准。狭义上的最小二乘可以称为最小二乘方法，是线性假设下的一种有闭式解的参数求解方法，就跟梯度下降一样，是一种解最优解的方法。最小二乘法一般有两个解法，代数解法和矩阵解法两种，代数解法就是直接对上式求导然后令导数为0求得最优解，矩阵解法比代数法要简洁，且矩阵运算可以取代循环，所以现在很多书和机器学习库都是用的矩阵法来做最小二乘法，最后求得的结果就是  这样我们就一下子求出了θ向量表达式的公式，免去了代数法一个个去求导的麻烦。只要给了数据,我们就可以用上式算出θ。

3）最小二乘法的局限性和适用背景：