逻辑回归公式推导

逻辑回归

• 逻辑回归到底是分类还是回归？
  • 它是经典的二分类算法
• 机器学习算法选择：先逻辑回归再用复杂的，能简单的还是用简单的。
• 逻辑回归的决策边界：可以是非线性的。

激活函数：sigmoid函数

• 公式：
• 图像：
  • 自变量取值为任意实数，值域为[0,1]
  • 将任意的输入映射到了[0,1]区间，我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid函数中，这样就完成了由值到概率的转换，也就是分类任务。
• 预测函数：，其中
• 分类任务：
• 整合：

  • 解释：对于二分类任务(0,1),整合之后y取1只保留

    y取0只保留了
    

• 似然函数：
• 对数似然：
• 应用梯度上升求最大值，引入转换为求最小值。
• 求导过程：
  • sigmoid函数求导：
  • 目标函数求导：
• 利用梯度下降，参数更新：
• 多分类的softmax：