【机器学习5】逻辑回归 Logistic Regression

逻辑回归应用于二分类问题，如果是多分类问题，则需要用softmax

1. Logistic(Logit) Function (i.e. Sigmoid function)

• Input为X在实数区间，Output为Y 在0-1之间（大多数时候，也用h(x)表示output）
• 分类方法：Y = 1的概率 < 0.5，则不属于该类别; Y = 1的概率 > 0.5，则属于该类别
• 构造步骤 （两步法）：
  1）一个Input为X的线性函数
  
  2）通过一个逻辑函数h(z)，即sigmoid函数，将线性函数转换为非线性函数
  

Sigmoid 曲线

注意：在上图中，Z = W·X + b，这个theta(z)就是h(z)
​​

2. Loss Function

损失函数：
1）损失函数的一个构造原则就是：预测结果Y与真实结果越相近，函数值越小

2）逻辑回归损失函数的核心构造技巧：当真实观测值h(x)=1，但是你预测值y=0时，误差损失无穷大；similarly，当真实观测值h(x)=0，但是你预测值y=1时，误差损失无穷大；所以我们有了初步的设计

3）损失函数就是若干次训练结果与真实观测值的误差，再取平均，因此前面有个系数1/m

4）负号是使得损失函数的值是一个正数

=> 完整的损失函数如下：

说明： y是样本预测值，h(x)是实际观测值

3. 模型训练

• 梯度下降法：训练出合适的权重w，并不断更新w，使得损失函数下降最快
• 损失函数的性质：h’(z) = h(z) * (1 - h(z) )
• 参数w的更新原则：
  

4. 逻辑回归可以视为一个最简单的单层神经网络模型