week3-2.Logistic Regression Model
一、Cost Function
逻辑回归的基本问题:
![](https://i-blog.csdnimg.cn/blog_migrate/2692472e39c03d57e7a24ebfc9ae0e9c.png)
![](https://i-blog.csdnimg.cn/blog_migrate/347ebd757020eee0186af378e9af9e03.png)
使用线性回归中的代价函数J不合适。因为h(x)=1/(1+e^(-theta'*x))是非线性的,带入后得到的代价函数是非凸的(non-convex),有很多局部最优点,可能找不到全局最优。
逻辑回归中使用的代价函数J:
![](https://i-blog.csdnimg.cn/blog_migrate/b43f5b01945d01396c1683dbb31c357a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/cad5acbac6f592010b990f6281d431ba.png)
![](https://i-blog.csdnimg.cn/blog_migrate/625ffede02a619f978a165a5fc46e3ee.png)
二、Simplified Cost Function and Gradient Descent
对cost函数(方程组)进行化简:
![](https://i-blog.csdnimg.cn/blog_migrate/860c471e98fc5c3e267a3b4766598b42.png)
化简后的J函数为:
![](https://i-blog.csdnimg.cn/blog_migrate/86bdf3e8022d891a38a281493de89757.png)
向量表示:
![](https://i-blog.csdnimg.cn/blog_migrate/799dfa5e4ca408c4197b6869bd1b3ec2.png)
梯度计算公式(确定theta的公式):
![](https://i-blog.csdnimg.cn/blog_migrate/71e6da34797b09a353199c9de6903781.png)
发现将J函数带入计算后得到的公式与线性回归中的一样。
向量表示:
![](https://i-blog.csdnimg.cn/blog_migrate/bccfadbb244972dc5234808aee1ad101.png)
三、Advanced Optimization
![](https://i-blog.csdnimg.cn/blog_migrate/80087f7eb6e80d83b36520b3cfa3c87d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/3c2db6fbd0ca1a086402b3b787b696ae.png)
高级优化算法可以再每轮迭代中自动更改学习率alpha,所以不用人为指定。
关于高级优化函数fminunc的使用:
![](https://i-blog.csdnimg.cn/blog_migrate/a16282b7e4bc0bca1b72edc10191b5ad.png)
initialTheta必须是不少于二维的向量。
![](https://i-blog.csdnimg.cn/blog_migrate/6dcd2185d70321475d979ba98b74b1f8.png)