逻辑回归是用于分类的算法。
平常的线性回归方程为f(x)=wx+b,此时f(x)的取值可以是任意的,要让预测的值可以分类,例如分类到class1是预测值为1,分类到class2时预测值为0。这时我们就要用到分类函数。
下面来介绍一个分类函数sigmoid:
其中z=wx+b
f(z)的取值将在0与1之间,如下图
有:
设f(z)表示分类到class1是的概率,则分类到class2的概率为1-f(z)。
假设我们有如下数据集:
最大似然的意义是表示出现这组数据最大可能性。
由最大释然估计可得
即求L(w,b)最大时的w和b的值
也就是求-ln(L(w,b))最小值时,w和b的值