logistic回归是一种广义的线性回归,通过构造回归函数,利用机器学习来实现分类或者预测。
一 Logistic回归概述
Logistic回归的主要思想是,根据现有的数据对分类边界建立回归公式,从而实现分类(一般两类)。“回归”的意思就是要找到最佳拟合参数,其中涉及的数学原理和步骤如下:
(1)需要一个合适的分类函数来实现分类【单位阶跃函数、Sigmoid函数】
(2)损失函数(Cost函数)来表示预测值( h(x) h ( x ) )与实际值( y y )的偏差(
),要使得回归最佳拟合,那么偏差要尽可能小(偏差求和或取均值)。
(3)记 J(ω) J ( ω ) 表示回归系数为 ω ω 时的偏差,那么求最佳回归参数 ω ω 就转换成了求 J(ω) J ( ω ) 的最小值。【梯度下降法】
所以,接下来就围绕这几个步骤进行展开。
1.1 分类函数
假设要实现二分类,那么可以找一个函数,根据不同的特征变量,输出0和1,并且只输出0和1,这种函数在某个点直接从0跳跃到1,如:
但是这种函数处理起来,稍微有点麻烦,我们选择另外一个连续可导的函数,也就是 Sigmoid函数 S i g m o i d 函 数 ,函数的公式如下:
h(z)=11+e−z h ( z ) = 1 1 + e − z
这个函数的特点是,当 x=0 x = 0 时, h(x)=0.5 h ( x ) = 0.5 ,而 x x 越大, 越接近1, x x 越小, 越接近0。函数图如下:
这个函数很像阶跃函数,当x>0,就可以将数据分入1类;当x<0,就可以将数据分入0类。
确定了分类函数,接下来,我们将Sigmoid函数的输入记为z,那么
向量x是特征变量,是输入数据,向量w是回归系数 向 量 x 是 特 征 变 量 , 是 输 入 数 据 , 向 量 w 是 回 归 系 数 是特征
之后的事情就是如何确定最佳回归系数 ω(w0,w1,w2,...,wn) ω ( w 0 , w 1 , w 2 , . . . , w n )
1.2 Cost函数
现有
输入特征变量: z=w0x0+w1x1+w2x2+...+wnxn=wTx z = w 0 x 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n = w T x
分类函数: h(z)=11+e−z h ( z ) = 1 1 + e − z
因此预测函数: h(z)=hw(x)=11+e−wTx h ( z ) = h w ( x ) = 1 1 + e − w T x
对于任意确定的 x和w x 和 w ,有:
P(y=1|x,w)=hw(x) P ( y = 1 | x , w ) = h w ( x )
P(y=0|x,w)=1−hw(x) P ( y = 0 | x , w ) = 1 − h w ( x )
这个函数可以写成:
取似然函数: