机器学习 day11（决策边界，损失函数，简化后的逻辑回归的成本函数）

1. 逻辑回归模型的预测过程

• 通常来说，我们先选择一个阈值0.5，当f(x) >= 0.5时，则预测y为1，当f(x)＜0.5时，则预测y为0。
• 由此我们可以得出，当阈值取0.5时，g(z)取0.5，z取0。所以，向量W·向量X + b 取0

2. 决策边界

• 当W₁取1，W₂取1，b取-3时，z=0可以写成 X₁ +X₂ = 3，而这条直线就称为决策边界。
• 决策边界取决于逻辑回归函数的参数，而不是数据集
  
  
• 决策边界可以用于非线性函数图像，等复杂图像，来判断非常复杂形状的边界。
• 至于边界内部取0还是1，取决于我们自己如何定义，可以有点随意

3. 逻辑回归模型中的成本函数

• 线性回归可以采用平方误差成本函数，得到的图像是凸函数，此时采用梯度下降算法可以得出成本函数的全局最小值。但，逻辑回归若也采用平方误差成本函数，得到的图像是非凸函数，此时采用梯度下降算法，只能得到局部最小值，很难得到全局最小值
• 通常，我们使用损失函数来作为逻辑回归的成本函数的一部分，此时的log的底数可以看成e，即log可以看成是ln
• 成本函数为关于w、b的函数，也是m个训练实例的损失函数的平均值
• 因为，标签y的实际值为0或1，所以我们分类讨论
  
• 当标签y的实际值为1时，若f(x)为0.7，预测有0.7的可能性为1，实际就是1，则损失很小。若f(x)为0.1，预测有0.1的可能性为1，但实际就是1，则损失很大。
  
• 当标签y的实际值为0时，若f(x)为0.9，预测有0.9的可能性为1，但实际就是0，则损失很大。若f(x)为0.1，预测有0.1的可能性为1，实际就是0，则损失很小
  
• 综上，我们使用损失函数来作为逻辑回归模型的成本函数，方便我们后续使用梯度下降算法来求全局最小值时的参数w，b
  
• 因为标签y的实际值只可能是0或1，所以我们还可以简化这个分类的损失函数
  
• 将简化后的损失函数带入逻辑回归模型的成本函数中，可以得出，仅由一个式子组成的逻辑回归成本函数
• 同时，这个成本函数是凸函数，也就是它只有一个局部最小值，且它的全局最小值就是局部最小值