weixin_40384587的博客

转载 多层感知器

MLP： 对于激活函数的选择，是神经网络中很重要的一步，对比sigmoid函数和tanh函数在不同层的使用效果： 隐藏层：tanh函数的表现要好于sigmoid函数，因为tanh的取值范围在[-1，1]之间，均值为0，实际上起到了归一化(使图像分布在0周围，得到的结果更方便使用梯度下降)的效果。 输出层：对于二分类而言，实际上是在计算yhat的概率，在[0，1]之间，所以sigmoid函数更优...