回归分析常量_线性回归和逻辑回归

线性回归

概念

线性回归就是用一条高维一次曲线/曲面去拟合变量之间的关系。利用线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况是简单回归，大于一个自变量的是多元回归。

线性回归模型公式：

{x}是模型的特征空间，

是特征向量的权值，b是常量。

令

总结线性回归的五个基本假设

1. 线性性和可加性
2. 误差项之间相互独立
3. 自变量之间相互独立
4. 误差项的方差应该是常数
5. 误差项应呈正态分布

公式推导

误差：预测值与真实值之间的差异,用

表示，

误差是符合均值为0方差为

的高斯分布，具有独立同分布的特点。

求解线性回归模型

的约束就是让误差最小，由于误差是服从高斯分布的，即：