第四周：线性回归算法

学习目标：

• 简单线性回归：简单线性回归及最小二乘法的数据推导
• 实践：简单线性回归实现及向量化应用
• 多元线性回归：多元线性回归和正规方程解及实现

线性回归和最小二乘法

《模型之母：简单线性回归&最小二乘法》
线性模型形式简单、易于建模，但却蕴藏着机器学习中一些重要的基本思想。在前文中已经写过，关于回归的定义—即特征是连续值类型。所谓简单线性回归，就是假设输入属性（特征变量）的数目只有一个，在此情形下，我们来讨论线性回归算法的基础形式和最小二乘法公式推导。最小二乘法的核心思想是均方误差最小化。

推导过程详见援引的文章，木东居士详细的展示了推导过程，今天自己也动手尝试了一下，其中的计算公式的简化和等量替换还是比较有技巧性的，公式推导清楚了也便于后续算法的实现。

线性回归算法实践

《模型之母：简单线性回归的代码实现》
通过上一节的公式推导，引文中给出了算法的实现代码同时介绍了向量化的计算方法，节约计算时间。

多元线性回归

《模型之母：多元线性回归》
多元线性回归是线性回归的一般形式，即输入属性（特征变量）有多个，其求解思想亦是最小二乘法。引文中给出了求解的结果，以及算法代码实现。

学习小结

通过对这个三篇文章的学习，了解了线性回归和最小二乘法的基本思想。