LR模型
逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降求解参数,来达到将数据二分类的目的
逻辑回归本质上是线性回归,只是在特征到结果的映射中加入了一层sigmoid激活函数,即先把特征线性求和,然后使用sigmoid函数来预测。将连续值映射到 0和1
特征重要性
每个特征都对应一个模型参数wi,该参数越大,那么该特征对模型预测结果的影响就会越大,我们就说该特征就越重要,因此LR模型的特征重要性评估方式就是wi的大小
LR的损失函数
LR的loss function称为log损失函数,也有人把它称为交叉熵损失函数
似然函数
对数似然函数:
损失函数: