线性回归模型推导过程及相关知识点

         线性回归是真正用作回归，lr用作分类，线性回归的基本思想是用梯度下降法对最小二乘形式的误差函数进行优化。

线性回归的推导过程（见大佬博客）：

http://blog.csdn.net/fleurdalis/article/details/54931721（但是个人感觉在求偏导的中间一步有问题）

线性回归与逻辑回归的区别：

A.线性回归要求变量服从正态分布，lr对变量分布没有要求。

B.线性回归要求因变量是连续性变量，而lr回归要求因变量是分类型变量。

C.线性回归要求自变量和因变量呈线性关系，而lr不要求

D.lr是分析因变量去某个值的概率与自变量的关系，而线性回归是直接分析因变量与自变量的关系。

线性回归的解是唯一的吗？

从线性回归的推导过程（最小二乘法）可知，其唯一是有条件的，那就是x乘x的转置是可逆的，若不可逆则不唯一。

线性回归的前提条件：

A.误差项的均值为0，且与自变量相互独立。

B.误差项独立同分布，即每个误差项之间相互独立且每个误差项的方差相等。

C.自变量之间线性无关。

D.正态假设，即假设误差项服从正态分布。

线性回归模型中，如何估计回归参数：

最小二乘法