DL_tf-activation function and tf.nn.dropout
参考《Tensorflow技术解析与实战》激活函数激活函数(activation function)将神经元计算wTx+b的结果经过非线性表达映射到下一层。需要可微,激活函数不会改变输入数据维度。sigmoid函数:σ(x)=11+e−x(1) 将输出映射到(0,1)内,缺点: 软饱和性:取值无穷大时,一阶导数趋于0,容易产生梯度消失。(硬饱和:某阶段一阶导数等于0) tanh函数:ta
转载
2017-11-28 14:50:45 ·
332 阅读 ·
0 评论