一、普适逼近定理
二、activate function
三、度消失问题的解决方法
1.relu函数
2.
3.
γ，β可以自动学习，使得y不一定满足正态分布。
四、解决陷入局部最小的方法
1.深度信念网络
这篇博客探讨了机器学习中的几个关键概念。首先介绍了普适逼近定理，然后详细讨论了激活函数的作用，特别是relu函数在解决梯度消失问题上的应用。接着，提到了如何通过深度信念网络和Adam优化算法来避免局部最小值。此外，dropout技术被解释为一种构建多个模型集成的策略。最后，简要阐述了卷积神经网络（CNN）的基本结构和RNN的反向传播算法。
最低0.47元/天 解锁文章
829
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
