机器学习之逻辑回归详解

参考地址：
https://www.zhihu.com/question/65350200
https://github.com/GreedyAIAcademy/Machine-Learning
https://zhuanlan.zhihu.com/p/70587472

线性回归

方程

损失函数

求导

令导数为0，得到

逻辑回归

逻辑回归函数

函数的图像：

逻辑回归函数如何解决二元分类过程？

当P(y=1|x)的值>0.5时输出1,否则输出0

逻辑回归的损失函数

梯度值：

梯度下降法

为什么?（逻辑回归的损失函数）

似然函数

假设分段函数f(x)结果只两个值0，1，为1的概率为p，为0的概率就是1-p，规范一些，可以描述如下：

我们把训练数据(X,y)代入公式，让矩阵中所有的p(1-p)相乘。

为什么要相乘？有人说是因为要用一个函数将y=0和y=1的形式统一起来，其实不准确，应该是为了“最大似然估计”。
参考:https://www.zhihu.com/question/65350200

推导损失函数

通过最大似然估计，推导出损失函数

推导出梯度值

第一步，还是通过最大似然函数求损失函数

第二部，对损失函数针对权值w求偏导数

获得的结果即梯度下降法中的梯度值。

转载于:https://www.cnblogs.com/bugutian/p/11123484.html