第四周打卡：线性回归算法

前言

线性回归，回归算法
线性回归模型可以说是最重要的数学模型之一，很多模型都是建立在它的基础上，可以说是“模型之母”。
先从简单线性回归模型开始（单输入，单输出）熟悉线性回归算法的数学思想，公式推导，主要是通过公式推导将数学模型转化为可编程的程序语言，方便调用。
引出损失函数，还是通过数学公式的推导，对损失函数求最优解，即对公式推导，求最小损失函数导数为零时，可得损失函数的最值。

简单线性回归

所谓简单，是指只有一个样本特征，即只有一个自变量；所谓线性，是指方程是线性的；所谓回归，是指用方程来模拟变量之间是如何关联的。
简单线性回归，其思想简单，实现容易（与其背后强大的数学性质相关。同时也是许多强大的非线性模型（多项式回归、逻辑回归、SVM）的基础。并且其结果具有很好的可解释性。

求解思路：
对简单样本进行数据拟合，假定拟合出的模型为y = ax + b 。通过最小二乘法，计算每个样本点距离模型函数的距离的总和，转化为最优解问题，求损失函数最小时，a和b的取值

通过公式推导，可以得出a和b的表达式

简单线性回归总结

数学的角度了解了简单线性回归，从中总结出一类机器学习算法的基本思路：
1、通过分析问题，确定问题的损失函数或者效用函数；
2、然后通过最优化损失函数或者效用函数，获得机器学习的模型。

代码实现

主要难点在于将所得a和b的公式，使用函数语言进行表达。需要对pandas、numpy这两个库比较熟悉，因为在编程中，需要这两个库的矩阵切片、花式索引等知识点。还有通过numpy的内置函数提高运行效率

向量化运算能够提高运算效率

多元线性回归

难点还是在公式的推导，推导出公式后，还需要对numpy比较熟悉，才能够正确的编程

总结

线性回归的可解释性
线性回归模型有着比较清晰的数据推导过程，也是其他复杂模型的基础。线性回归算法是典型的参数学习。虽然线性回归只能解决回归问题，但是却是很多分类问题，如逻辑回归的基础。并且线性回归算法是假设数据是有一定的线性关系的，且线性关系越强，效果越好。