AI-深度学习
文章平均质量分 95
深度学习笔记
TAICHIFEI
上士闻道,勤而行之;中士闻道,若存若亡;下士闻道,大笑之。不笑不足以为道。
展开
-
3. 深度学习笔记--优化函数
深度学习——优化器算法Optimizer详解(BGD、SGD、MBGD、Momentum、Adagrad、Adadelta、RMSprop、Adam、Nadam、AdaMax、AdamW )原创 2024-05-05 22:35:57 · 819 阅读 · 0 评论 -
2. 深度学习笔记--损失函数
损失函数学习总结原创 2024-05-04 23:03:18 · 731 阅读 · 0 评论 -
1. 深度学习笔记--神经网络中常见的激活函数
每个激活函数的输入都是一个数字,然后对其进行某种固定的数学操作。激活函数给神经元引入了非线性因素,如果不用激活函数的话,无论神经网络有多少层,输出都是输入的线性组合。激活函数的意义在于它能够引入,使得神经网络可以拟合非常复杂的函数,从而提高了神经网络的表达能力和预测性能。激活函数的发展经历了Sigmoid -> Tanh -> ReLU -> Leaky ReLU -> Maxout这样的过程,还有一个特殊的激活函数Softmax,因为它只会被用在网络中的最后一层,用来进行最后的分类和归一化。原创 2024-05-01 16:09:07 · 1290 阅读 · 0 评论