8月7日学习笔记 激活函数激活函数的导数神经网络的梯度下降法随机初始化 激活函数 tahn函数 不同层的激活函数可以不一样 ReLU函数 一般使用ReLU函数,会使你的神经网络的学习速度快很多 sigmoid函数 除非用在二元分类的输出层,不然绝对不要用 leaky ReLU函数 激活函数的导数 sigmoid函数的导数计算 Tanh函数的导数计算 ReLU和Leaky ReLU函数的导数计算 神经网络的梯度下降法 正向传播和反向传播步骤 随机初始化 如果权重很大,就会使梯度的斜率很小