逻辑回归

引出

线性回归+阈值会有一定问题，因此需要把值映射到某个范围内，sigmoid函数

$$\frac{1}{1+e^{-z}}$$

当预测出来的结果，可以看成概率p<0.5,y=0；如果p>0.5,y=1

损失函数，代价函数

如果逻辑回归采用的代价函数和线性回归使用同样的损失函数，平方损失，在逻辑回归的假设函数条件下，损失函数是非凸函数，因此逻辑回归的损失函数为：

$$Cost(h_{\Theta}(x),y)=-log(h_{\Theta}(x)) if y=1$$
$$Cost(h_{\Theta}(x),y)=-log(1-h_{\Theta}(x)) if y=0$$

• 这个损失函数合理性
  
  • 如果y=1，希望$h_{\Theta}$越接近1越好，如果$h_{\Theta}$接近1，那么$log(h_{\Theta}(x))$接近0
  • 如果 y=0，希望$h_{\Theta}$越接近0越好，如果$h_{\Theta}$接近0，那么$log(1-h_{\Theta}(x))$接近0
  • log函数在（0，1）内，正常是负数

逻辑回归的损失函数

把每个样本的损失加起来求和，然后求平均损失最小

$$J(\Theta)=\frac{1}{m}\sum_{i=1}^{m}Cost(h_{\Theta}(x^{(i)}),y^{(i)})$$
$$J(\Theta)=-\frac{1}{m}\left [ \sum_{i=1}^{m}y^{(i)} logh_{\Theta}\left ( x^{(i)} \right )+(1-y^{(i)})log(1-h_{\Theta}( x^{(i)})\right ]+\frac{\lambda }{2m}\sum_{j=1}^{n}\Theta_{j}^{2}$$
- 为了使决策边界的曲线不会太弯曲，需要添加正则化项