LR的原理及损失函数，和线性回归的区别

逻辑回归本质上是线性回归，只是在特征到结果的映射中加入了一层逻辑函数sigmoid(z)，即先把特征线性求和，然后使用函数sigmoid(z)作为假设函数来预测。

求解过程：

而sigmoid 的导数是：

逻辑回归用来分类0/1 问题，也就是预测结果属于0 或者1 的二值分类问题。这里假设了二值满足伯努利分布，也就是

所以对于训练集，其极大似然函数是：

先取ln利于计算：

然后需要进行极大似然估计，使用梯度上升来求极大值：

这里要求梯度增量：

对于SDG，

而LR的损失函数而是：

 

逻辑回归相对于线性回归：

逻辑回归是在线性函数后添加了sigmoid从而将回归问题变成了分类问题