回归分析是研究变量之间定量关系的一种统计学方法,具有广泛的应用。
Logistic回归模型
线性回归
先从线性回归模型开始,线性回归是最基本的回归模型,它使用线性函数描述两个变量之间的关系,将连续或离散的自变量映射到连续的实数域。
模型数学形式:
引入损失函数(loss function,也称为错误函数)描述模型拟合程度:
使J(w)最小,求解优化问题得到最佳参数。
Logistic回归
logistic回归(Logistic regression 或 logit regression)有时也被译为"逻辑回归",不过它和"逻辑"并没有太大关系应该只是音译。从内容来讲,它最合适的名字应该是logit回归。
logistic回归模型更多的被用于概率分类器中。线性回归将自变量映射到连续的实数,在很多情况下因变量的取值是在有限的区间中的,最常见的如概率问题的0-1区间。
Sigmod函数提供了一个从实数域到(0,1)的映射:
该函数如图: