一些结论

推过了，备忘。
logistic函数$\sigma(x)=\dfrac{1}{1+e^{-x}}$的导数$\sigma'(x)=\sigma(x)(1-\sigma(x))$
$K$个类的

$$\dfrac{\partial}{\partial x_j} softmax'(x_i)=\left\{\begin{array}{cc} sm(x_i)(1-sm(x_j)), &i=j\\ sm(x_i)(-sm(x_j)), & i\neq j \end{array}\right.$$