逻辑斯蒂回归算法

逻辑斯蒂回归算法

建模思想

对于一个常见的二分类问题来讲，输出一个预测类别值Y，Y可能取值为0和1。对于普通的线性回归Z = WX + b是实数值，如果使用阶跃函数来实现0/1的转换，显然是不合适的，因为该函数不连续，所以使用一个单调可微的函数来替换，即sigmoid函数。

有了sigmoid函数之后，我们就可以自然将得到的值，约束在[0,1]区间之内，将值大于0.5的划分为1类，小于0.5的划分为0类。

参数确定

接着就是给定一个数据集D，把参数W确定下来，一般我们都会想到使用误差平方和来当损失函数，即：

但是，这样的会导致损失函数是个非凸函数，会出现若干个局部最小值，不利于我们的求解。