深度学习《激励函数》你了解透了吗？

为了说清楚问题，画了如下图帮助理解。

如果lossFunction 是 mse，真值为z_true，loss = ( z_true - z ) ** 2
d(loss)/d(z) = 2(z - z_true)
d(z)/d(y) = sigmoid’(z)
d(y)/d(w) = x
d(y)/d(b) = 1
d(loss)/d(w) = d(loss)/d(z) * d(z)/d(y) * d(y)/d(w) = 2(z - z_true) * sigmoid’(z) * x
d(loss)/d(b) = d(loss)/d(z) * d(z)/d(y) * d(y)/d(w) = 2(z - z_true) * sigmoid’(z) * 1

================================================================
如果lossFunction 是 binary_cross_entropy，真值为z_true，
loss = - [ z_true * log(z) + (1 - z_true) * log( 1 - z ) ]
d(loss)/d(z) = - z_true / z + (1 - z_true) / (1-z)
如果 z_true == 1 则 d(loss)/d(z) = -1/z
如果 z_true == 0 则 d(loss)/d(z) = 1/(1-z)
d(z)/d(y) = sigmoid’(z) = z * (1-z) (这个就是sigmoid的导数，下面有推导过程)
d(y)/d(w) = x
d(y)/d(b) = 1
如果 z_true == 1 则
d(loss)/d(w) = d(loss)/d(z) * d(z)/d(y) * d(y)/d(w) = -1/z * z * (1-z) * x = (z-1)*x
d(loss)/d(b) = d(loss)/d(z) * d(z)/d(y) * d(y)/d(b) = -1/z * z * (1-z) * 1 = (z-1)
如果 z_true == 0 则
d(loss)/d(w) = d(loss)/d(z) * d(z)/d(y) * d(y)/d(w) = 1/(1-z) * z * (1-z) * x = （z - 0）*x
d(loss)/d(b) = d(loss)/d(z) * d(z)/d(y) * d(y)/d(b) = 1/(1-z) * z * (1-z) * 1 = ( z - 0 ）
合并之后：
d(loss)/d(w) = ( z - z_true ) * x
d(loss)/d(b) = ( z - z_true )

.
.
###sigmoid函数求导过程如下：

如果是多分类，则激励函数为softmax，
那么softmax 又和 sigmoid 有什么关系那？