sigmoid和交叉熵损失函数

sigmoid函数

Sigmoid函数是一个在生物学中常见的S型函数，将值映射到(0,1)之间，常用于神经元的激活函数。$$\sigma (x)=\frac{1}{1+e^{-x}}$$
画出函数图像

import numpy as np
from matplotlib import pyplot as plt 
%matplotlib inline
x=np.arange(-10,10,0.1)
y=1/(np.exp(-x)+1)
#print(y)
plt.title("sigmoid") 
plt.plot(x,y) 
plt.show()

显然：$\underset{x\to +\infty }{\lim }=1$ , $\underset{x\to -\infty }{\lim }=0$ ，函数平滑、易于求导。
$${\sigma }^{\prime }(x)=\frac{e^{-x}}{(1+e^{-x}{)}^2}=\frac{1}{1+e^{-x}}-\frac{1}{(1+e^{-x}{)}^2}=\sigma (x)(1-\sigma (x))$$
因此sigmoid可用于二分类问题，输出p代表为1的概率。

二元交叉熵损失函数

$y=1$时，$p(y=1|x)=p$
$y=0$时，$p(y=0|x)=1-p$
可将上式合并得$$p(y|x)=p^y(1-p{)}^{1-y}$$
为方便计算两边取对数得到$$\log p(y|x)=y\log p+(1-y)\log (1-p)$$
损失应取正值故添加负号$$L=-[y\log p+(1-y)\log (1-p)]$$
假设m个样本独立同分布，最大似然可得$$P=\prod _{i=1}^{m}p(y^i|x^i)$$$$\log P=\sum _{i=1}^m\log p(y^i|x^i)$$$$\log P=-\sum _{i=1}^{m}L$$
所以样本的平均误差可以定义为$$J=\frac{1}{m}\sum _{i=1}^{m}L(p,y)$$