逻辑回归
逻辑回归是一种有监督的统计学习方法,主要用于对样本进行分类。
在线性回归模型中,输出一般是连续的,例如
y = f ( x ) = a x + b y=f(x)=a x+b y=f(x)=ax+b
对于每一个输入的 x x x, 都有一个对应的 y y y输出。模型的定义域和值域都可以是 [ − ∞ , + ∞ ] [- \infty,+\infty] [−∞,+∞]。但是对于逻辑回归,输入可以是连续的 [ − ∞ , + ∞ ] [-\infty,+ \infty] [−∞,+∞],但输出一般是离散的, 即只有有限多个输出值。例如,其值域可以只有两个值 { 0 , 1 } , \{0,1\}, {
0,1}, 这两个值可以表示对样本的某种分类, 高/低、患病/健康、阴性/阳性等,这就是最常见的二分类逻辑回归。因此, 从整体上来说,通过逻辑回归模型,我们将在整个实数范围上的 x x x映射到了有限个点上,这样就实现了对 x x x的分类。因为每次拿过来一个 x x x,经过逻辑回归分析,就可以将它归入某一类 y y y中。
与线性回归的关系
逻辑回归也被称为广义线性回归模型,它与线性回归模型的形式基本上相同,都具有 a x + b ax+b ax+b,其中 a a a和 b b b是待求参数,其区别在于他们的
因变量不同, 多重线性回归直接将 a x + b ax+b ax+b作为因变量, 即 y = a x + b y = ax+b y=