softmax推导 + BP推导 记录

softmax

参考：

1 详解softmax函数以及相关求导过程 https://zhuanlan.zhihu.com/p/25723112

 

2  softmax的log似然代价函数（公式求导）https://blog.csdn.net/u014313009/article/details/51045303

（这个似然函数求导部分没看明白）

 

3 交叉熵代价函数（作用及公式推导）

https://blog.csdn.net/u014313009/article/details/51043064

（这里没看明白）

 

BP

参考：

1. 神经网络中w,b参数的作用（为何需要偏置b的解释） https://blog.csdn.net/xwd18280820053/article/details/70681750