知识
自信的小螺丝钉
这个作者很懒,什么都没留下…
展开
-
python常用函数与机器学习基础知识记录
python常用函数与机器学习基础知识记录原创 2022-11-22 00:35:55 · 351 阅读 · 0 评论 -
关于pytorch构建神经网络细节的学习记录
pytorch构建网络细节学习原创 2022-11-11 21:46:30 · 396 阅读 · 0 评论 -
激活函数学习记录
神经网络中每一层的输入输出都是一个线性求和的过程,下一层的输出只是承接了上一层输入函数的线性变换,如果没有激活函数,无论构造的神经网络多么复杂,有多少层,最后的输出都是输入的线性组合,纯粹的线性组合并不能够解决更为复杂的问题。:梯度可能在更新过程中累积到很大,造成网络权重的大量更新,进而导致网络不稳定,模型损失在训练过程中变为NaN(训练过程中由于学习率等超参数设置的不合理,导致优化过程中没有减小loss,反而因为震荡导致loss逐渐增大,最终超过了float表示范围,出现NaN):1)隐藏层的层数过多;原创 2022-11-11 21:36:15 · 564 阅读 · 0 评论 -
对于互信息的理解
转载:互信息(Mutual Information)的介绍转载 2022-10-24 16:17:03 · 65 阅读 · 0 评论