深度学习
Y_飞鱼
这个作者很懒,什么都没留下…
展开
-
神经网络之梯度下降优化算法
神经网络之优化算法一、批量梯度下降($BGD$)三、随机梯度下降($SGD$)四、Momentum五、AdaGrad六、Adam一、批量梯度下降(BGDBGDBGD) 批量梯度下降是:最原始的形式,他在每次迭代的过程中都是使用所有的训练集样本来进行梯度下降。如果对于训练集样本数量较大的话,需要很长的时间,并且每迭代一次都需要对训练集样本进行训练。他能够很好的代表训练集样本总体数据,从而能更准...原创 2019-08-26 11:23:22 · 712 阅读 · 1 评论 -
神经网络的正向传播和反向传播
神经网络的正向传播和反向传播一、什么是神经网络1. 神经元2. 感知器3. 神经网络二、激活函数1. 恒等函数2. sigmoid函数3. Tanh函数4. ReLU函数5. SoftMax函数6. SoftPlus函数三、神经网络的正向传播四、神经网络的反向传播一、什么是神经网络1. 神经元2. 感知器3. 神经网络二、激活函数1. 恒等函数2. sigmoid函数3. Tanh...原创 2019-09-01 15:02:16 · 1117 阅读 · 0 评论