西瓜书对数几率回归公式推导

西瓜书对数几率回归公式推导

 周志华西瓜书3.3、P59公式推导

对于前面这里最好需要对最小二乘法有一定的了解：

https://blog.csdn.net/Willen_/article/details/88867735

 这里，我们直接给出了对数极大似然入籍，你再翻看一下书59页，你会发现其实3.26公式其实是有问题的，他少了对应的取对数

而实际的公式应该是下图中的求和里面的公式：

所以对应的，我们求解的目标就是求解对数极大似然估计：

对向量中的第j个分量的求导，应该是如下公式

 那么向量形式是如何的求解的呢：

当然，上式子要最大化极大似然估计，所以相应的梯度计算是  w += dw

相应的，我们在极大似然估计前面添加负号就对应的得到最小化公式

我们的目的是求出最后的梯度 dw ，所以上述式子对最大化调整为最小化，也就是常说的损失函数，为了求导目的梯度，要将整个公式进行链式求导，反推回去，可以看到，对每一个zi进行求导，都是独立的，zi 最终是一个标量，加上sigmoid 激活方法之后也依然是一个标量，那么我们对这一个标量进行求导，一定也是独立得进行计算的，毕竟除了每一个zi 都各自得对最终的损失进行了贡献。

所以我们就有最终的计算公式，对整体的W进行求导，可以写成最终这个公式 

矩阵分析链接：

https://blog.csdn.net/Willen_/article/details/87912967

首先：对W求导时，对应的Z 表示的是 以向量W为自变量，以Z 向量为应变量的函数关系有  Z =  f(W) ,所以可以直接带入矩阵求导公式（5.1.20)得出结果。也就是后面的
先后顺序，而不是反过来