逻辑回归原理介绍与案例python代码实现

逻辑回归是用于分类的算法。

平常的线性回归方程为f(x)=wx+b，此时f(x)的取值可以是任意的，要让预测的值可以分类，例如分类到class1是预测值为1，分类到class2时预测值为0。这时我们就要用到分类函数。

下面来介绍一个分类函数sigmoid：

其中z=wx+b

f（z）的取值将在0与1之间，如下图

有：

设f(z)表示分类到class1是的概率，则分类到class2的概率为1-f(z)。

假设我们有如下数据集：

最大似然的意义是表示出现这组数据最大可能性。

由最大释然估计可得

 

即求L（w，b）最大时的w和b的值

也就是求-ln⁡(L(w,b))最小值时，w和b的值

以下为上述公式的代码实现

cross_ent