文章目录
1. 逻辑函数的cost function
- 回归,已知这个training set怎么找到最合适的w和b。
- Squared error cost function在linear和logistic下的对比。在logistic regression下他不是convex的,有非常多的local minimum。
1.1 logistic loss function
- 如果y = 1。
- -log函数是左图蓝色线。因为y = 1 / 0,所以粉色框架内为有效区域。
- 放大这个区域,当预测值f(x) --> 1, loss --> 0。f(x) --> 0, loss --> ∞。
- 当预测值f(x)最接近真实值y,损失最小。
-
如果y = 0。
-
函数图像如图,放大来看可知。预测值f(x) --> 1, loss --> ∞。f(x) --> 0, loss --> 0。
-
logistic regression的新代价函数是可以convex的,有global minimum。
1.2 simplified cost function
- 简化的loss公式:
- 简化的cost公式:
2. 梯度下降gradient descent
- 会不会疑惑这个和linear regression的梯度下降很像。但因为f(x)是不一样的,所以cost function也会不一样。