机器学习-cs229-逻辑回归

**注：本篇文章参考了许多博文，因为机器学习尤其是CS229系列的课程和博文详细的好的非常多，本片由很多参考。

---

逻辑回归

公式：

用g(x)表示z

物理意义：对于输入x，输出为y=1的可能性

从函数的值的角度：
在这里插入图片描述

注：这里阈值可以调

逻辑回归重新定义代价函数

线性回归的代价函数为 :

代入到平方代价函数的时候 ,我们得到的代价函数将是一个非凸函数 (non-convexfunction) :

这将严重影响梯度下降算法寻找全局最小值

所以考虑到 Sigmoid 函数的形式 , 我们放弃使用平方代价函数 , 使用这种代价函数 :

为什么不用平方损失函数？

也可以用平方损失，但是会在h(wx)接近0和1的地方梯度很小，不容易学习，你可以试着用平方损失进行梯度下降，就会发现了，tips：会用到dh/dw=h*(1-h)。

用极大似然估计的方法

原因：极大似然估计在原有的概率函数上以log为底，1.不改变概率函数的分布 2.增函数，求到之后取y=0的x值，得到最大值

对于y=1时，即cost=-log(hx), 若hx也=1，则代价函数=0；反之无穷大

对于 -log(1= h(x)) 也是同理 :

---

总结一下

损失函数：

这里说一下，函数的形态仍为凹函数

求当代价函数最小时的θ

算法：对Jθ求导，

与线性回归的式子作比较：

好像长一样耶

但是这里的 : 与线性回归中不同，所以实际上是不一样的 .

逻辑回归中：

线性回归中：

---

推荐博文

知乎专栏：逻辑回归