吴恩达深度学习公开课笔记(4) 逻辑回归

逻辑回归是为了解决分类问题而出现的

假设函数

$h_{\theta }(x)=g({\theta }^{T}x)$
$g(z)=\frac{1}{1-e^{-z}}$

$g(z)$图像如下::

$g(z)$叫做sigmoid函数，目的是将z映射到0-1之间
当$g(z)\ge 0.5时y=1$，当$g(z)<0.5时y=1

当$z\ge 0时g(z)\ge 0.5$，当$z<0时g(z)<0.5$

决策边界

假设我们的预测函数为：
$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2)$$
训练集如下：

由之前的结论可得：
$$当y=1时，{\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2\ge 0$$
假设我们已经拟合参数：
$$\theta =[3,1,1]$$
所以只要有任何参数满足：
$$-3+x_1+x_2\ge 0$$
我们的假设函数就会认为$y=1$

如果我们画出$x_1+x_2=3$这条直线：

这条直线左边都会被预测为$y=1$，右边都会被预测为$y=0$

这条线就叫做决策边界

代价函数

线性回归的代价函数如下：
$$J(\theta )=\frac{1}{m}\sum _{i=1}^m\frac{1}{2}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$$
换一种形式：
$$\begin{gathered} J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)}) \\ Cost(h_{\theta }(x^{(i)}),y^{(i)})=\frac{1}{2}(h_{\theta }(x^{(i)})-y^{(i)}{)}^2 \end{gathered}$$

如果直接使用线性回归的代价函数，那么代价函数将会是个非凸函数(non-convex),将会有许多局部最优点，图像如下：

所以我们使用另一种代价函数：

$log(z)$图像如下：

取$0-1$：

如果$y=1$

这个函数有很好的特性，如果$y=1,h_{\theta }(x)=1,cost=0$
如果$y=1,h_{\theta }(x)\to 0,cost\to \infty$

如果$y=0$

这个函数正好相反,如果$y=0,h_{\theta }(x)=0,cost=0$
如果$y=0,h_{\theta }(x)\to 1,,cost\to \infty$

为了简洁，把

合成一个函数：
$$Cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$$
所以：
$$\begin{array}{rl}J(\theta )& =\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})\\ & =-\frac{1}{m}\sum _{i=1}^m[y^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-h_{\theta }(x^{(i)}))]\end{array}$$