深度学习:原理简明教程05-深度学习——作者:Ling,作者链接: http://www.bdpt.net/cn
欢迎转载,作者:Ling,注明出处:深度学习:原理简明教程05-深度学习
深度神经网络就是隐含层节点数目和层数非常多的网络,其进化如下图:
每个节点都是如下结构:
浅层神经网络:逻辑回归
1隐含层,2层神经网络:
两隐含层,3层神经网络:
5隐含层,六层神经网络:
后面的越来越“deep”。
深度网络:就是由很多层,每层很多神经元,最后构成一个比较深的神经网络。
深度神经网络的学习:和之前介绍的方法完全类似,通过BP算法更新各大参数值,从而训练好深度神经网络。
这里我主要补充一下,深度学习各个值和各个值的维度关系,通过维度检查,可以比较容易确保你构造的深度神经网络没有问题。
例子:
注意:[i]表示第i层
对于一个实例训练:
前向:
后向:
对于多个实例训练,所有1变成m即可:
以上就是深度学习最核心内容的介绍,接下来我将介绍深度学习的其他内容,比如参数初始化,为什么要非线性激活,有哪些非线性激活函数等等。