# Sigmoid

### 函数形式

S i g m o i d ( x ) = 1 1 + e − x Sigmoid(x)=\frac{1}{1+e^{-x}}

### 导数形式

S i g m o i d ′ ( x ) = e − x ( 1 + e − x ) 2 = S i g m o i d ( x ) ( 1 − S i g m o i d ( x ) ) Sigmoid'(x)=\frac{e^{-x}}{(1+e^{-x})^2}=Sigmoid(x)(1-Sigmoid(x))

# 交叉熵损失函数

L ( y , f ( x ) ) = − ∑ i = 1 N [ y i l o g f ( x i ) + ( 1 − y i ) l o g ( 1 − f ( x i ) ) ] L(y,f(x))=-\sum_{i=1}^{N}[y_ilogf(x_i)+(1-y_i)log(1-f(x_i))]

# 均方误差损失函数

L ( y , f ( x ) ) = 1 2 ∑ i = 1 N ( y i − f ( x i ) ) 2 L(y,f(x))=\frac12\sum_{i=1}^{N}(y_i-f(x_i))^2

# 为什么使用交叉熵损失而不是均方差损失

▽ w i L = − ( y i − f ( h ) ) f ( h ) ( 1 − f ( h ) ) x i \bigtriangledown_{w_i}L=-(y_i-f(h))f(h)(1-f(h))x_i
▽ b L = − ( y i − f ( h ) ) f ( h ) ( 1 − f ( h ) ) \bigtriangledown_{b}L=-(y_i-f(h))f(h)(1-f(h))

▽ w i L = ( y i − f ( h ) ) x i \bigtriangledown_{w_i}L=(y_i-f(h))x_i
▽ b L = ( y i − f ( h ) ) \bigtriangledown_{b}L=(y_i-f(h))

# Softmax

Softmax是Sigmoid的推广，Sigmoid针对二分类，Softmax针对多分类。Softmax多见于神经网络中。其函数形式为
S o f t m a x ( z i ) = e z i ∑ j = 1 m e z j Softmax(z_i)=\frac{e^{z_i}}{\sum_{j=1}^me^{z_j}}

L ( y , y − ) = − ∑ k = 1 m y k l o g y − k L(y,\overset{-}{y})=-\sum_{k=1}^{m}y_klog\overset{-}{y}_k

1
2

• 1
点赞
• 0
评论
• 2
收藏
• 一键三连
• 扫一扫，分享海报

06-29 6176

09-19 4594
08-13 2067
05-27 2262
11-27 1194
01-03 3000
03-06 1461
10-05 6万+
05-19 2278
12-28 727
09-20 2万+
05-30 8933
10-04 1万+