chenyuhuaxin的博客

损失函数概念及几种常见损失函数

卷积滤波器常规前馈网络的神经元排列在平面的全连接层中，而ConvNet中的层排列在三维（宽×高×深）中。卷积是通过在输入层上滑动一个或多个滤波器（filter）来执行的。每个滤波器都有一个相对较小的感受野（宽×高），但它贯穿输入图像的全部深度。每个滤波器在输入图像上滑动每一步，都会输出一个激活值：它是输入值和过滤器值之间的点积。此过程将为每个滤波器生成一个二维的激活图（activation map）。将每个滤波器生成的激活图堆叠在一起可以形成一个三维输出层，其输出深度等于所用滤波器的数量。参数共

1. 激活函数sigmoid函数公式：图像：sigmoid可以将数据压缩到[0,1]范围内，可看作神经元的饱和放电率。在历史上，sigmoid函数非常有用，这是因为它对神经元的激活频率有很好的解释：从完全不激活(0)到求和后的最大频率处的完全饱和（saturated）的激活（1）。然而现在sigmoid激活函数使用较少，主要原因为两点：梯度消失。当神经元的激活在接近0或1时会饱和，导致其导数为0，则梯度为0。在反向传播时，这个（局部）梯度将会与整个损失函数关于该门单元输出的梯度相乘。