logistic回归损失函数与梯度下降

逻辑回归中，假设函数hypothesis $h_\theta(x)$为：

$$h_\theta(x)=g(\theta^\mathrm{T}x)=\frac{1}{1+e^{-\theta^\mathrm{T}x}}=g(\theta^\mathrm{T}x+b)$$
当 $h_θ(x)=g(θ^Tx)≥0.5$, 即 $θ^Tx≥0$, 此时意味着预估 $y=1$;
当 $h_θ(x)=g(θ^Tx)<0.5$, 即 $θ^Tx<0$, 此时意味着预估 $y=0$.

所以我们认为$θ^Tx =0$是一个决策边界，当它大于0或小于0时，逻辑回归模型分别预测不同的分类结果。

假设函数hypothesis就是y=1的概率：

{ P(y=1|x;θ)=hθ(x)P(y=0|x;θ)=1−h