softmax和softamxLoss求导公式推导

Softmax

定义

$f(x_i) = \frac{e^{x_i}}{\sum_{j}e^{x_j}}$

求导

$$\frac{df(x_k)}{dx_i} = \frac{e^{x_i}}{\sum_{j}e^{x_j}} + e^{x_i}\frac{-1}{(\sum_je^{x_j})^2}e^{x_i} = f(x_i)-f(x_i)^2=f(x_i)(1-f(x_i)) \ \ if\ k = i$$
$$\frac{df(x_k)}{dx_i} = ?? \ \ if\ k\ != i$$

Softmaxloss

定义

$L(x_i) = -\sum_k{y_klogf_k(x_i)}$ 其中$y=(y_0,y_1,...,y_n)$,$y_i \in \{0,1\}$是$x_i$类别描述, 比如常见的one hot encoding中,对一个样本$x_i$, $y$只有一个元素值为1,其他都是0,所以假设$x_i$标签中只有$y_i=1$,则求和号可以去掉有

$$L(x_i) = -logf_i(x_i)=-log\frac{e^{x_i}}{\sum_j{e^{x_j}}}=-x_i+log\sum_j{e^{x_j}}$$

求导1

直接利用展开式$L(x_i)=-x_i+log\sum_j{e^{x_j}}$

$$\frac{dL}{dx_i}=-1+\frac{e^{x_i}}{\sum_j{e^{x_j}}}=f(x_i)-1$$

求导2

从原始公式$L(x_i) = -logf_i(x_i)$

$$\frac{dL}{dx_i}=\frac{dL}{df_i}\frac{df_i}{dx_i}=\frac{-1}{f_i(x_i)}f(x_i)(1-f(x_i))=f(x_i)-1$$

PS: $f_i()$的下标似乎应该去掉???

重点

链式法则是和复合函数求导关联,$f(g(x))$是复合函数, $f(x)g(x)$不是符合函数

$$\frac{df(g(x))}{x} = \frac{df}{dg}\frac{dg}{dx}$$
$$\frac{d(f(x)g(x))}{dx}=\frac{df(x)}{dx}g(x)+\frac{dg(x)}{dx}f(x)$$