机器学习中的一些常用函数

0 目录

便于看着回想

• Loss Function
  cross entropy

• 激活函数
  sigmoid

• 其他
  softmax
  softmax + cross entropy

1 各种Loss Function及其性质

1.1 cross entropy (交叉熵)

• 注意$y$和$\hat{y}$是向量，$y$是one-hot编码的lable（one-hot label vector），$\hat{y}$是预测的每个类别的可能性（the predicted probability vector for all classes），$y_i$和${\hat{y}}_i$ 是向量中的第i个元素。
• 下面交叉熵函数中的log就是ln，有些资料写法不同，但一般没写底数的log就是ln。
  
  对${\hat{y}}_i$ 的偏导数：
  $$\frac{\partial CE(y,\hat{y})}{{\hat{y}}_i}=-\frac{y_i}{{\hat{y}}_i}$$

2 激活函数及其性质和导数

2.1 sigmoid

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

导数（求导非常容易）：
$${\sigma }^{\prime }(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}=\sigma (x)(1-\sigma (x))$$

3 其他

3.1 softmax

$$softmax(x_i)=\frac{e^{x_i}}{{\sum }_j{e}^{x_j}}$$

导数：softmax和sigmoid其实很像，分子分母同除以$e^{x_i}$，得到$softmax(x_i)=\frac{1}{1+e^{-x_i}{\sum }_{j̸=i}{e}^{x_j}}$ ，这样就很容易看出和sigmoid很像了，所以其对$x_i$的偏导数和sigmoid的导数很像。
∂ s o f t m a x ( x i ) ∂ x i = e − x i ∑ j ̸ = i e x j ( 1 + e − x i ∑ j ̸ = i e x j ) 2 = s o f t m a x ( x i ) ( 1 − s o f t m a x ( x i ) ) \frac{\partial softmax(x_i)}{\partial x_i} =\frac{e^{-x_i}\sum_{j \not= i}{e^{x_j}}}{( 1+ e^{-x_i}\sum_{j \not= i}{e^{x_j}})^2} = softmax(x_i)(1 - softmax(x_i)) ∂xi​∂softmax(xi​)​=(1+e−xi​∑j̸​=i​exj​)