![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
NNothing丶
这个作者很懒,什么都没留下…
展开
-
学习率(learning rate)
更新后的参数 = 当前参数 - 学习率 * 损失函数的梯度(偏导数)原创 2023-04-20 17:25:51 · 278 阅读 · 0 评论 -
损失函数(loss)
tf.nn.softmax_cross_entropy_with_logits(y_, y)原创 2023-04-20 18:08:30 · 125 阅读 · 0 评论 -
激活函数(4种)
理论上讲,Leaky Relu有Relu的所有优点,外加不会有Dead Relu问题。但是在实际操作中,并没有完全证明Leaky Relu总好于Relu.原创 2023-04-20 17:50:49 · 124 阅读 · 0 评论 -
神经网络(NN)复杂度
上图3*4+4(第一层) + 4*2+2(第二层) = 26。层数 = 隐藏层的层数 + 1个输出层 (上图为2层NN)上图3*4(第一层) + 4*2(第二层) = 20。总参数 = 总w + 总b。原创 2023-04-20 17:01:10 · 140 阅读 · 0 评论