深度学习框架图

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u013069552/article/details/81078285

深度学习入门(一天读懂深度学习-李宏毅)

1、深度学习框架图: (参考网址https://blog.csdn.net/u010164190/article/details/72633245

2、神经网络要解决的问题

2.1、基于网络功能函数的定义(网络模型的选择,激励函数的选择,优化方法的选择)-->网络模型好坏的评估(损失函数的定义)-->选出一个最优模型-->过拟合问题的解决

2.2、常见的网络结构:DNN,CNN,RNN,LSTM(这个四种神经网络的前向传递,反向参数优化推导网址http://www.cnblogs.com/pinard/p/6418668.html)

2.3、常见的激励函数:sigmod,tanh,ReLU,maxout

2.4、常见的优化方法:SGD、Adagrad、Adadelta、Adam、adamax、Nada                                                                                          (https://blog.csdn.net/yunxinan/article/details/74858070

2.5、常用的损失函数:square error,cross entropy

2.6、常用的解决过拟合的方法:early stop、正则化(权重衰减)、dropout、增加训练样本

 

阅读更多
换一批

没有更多推荐了,返回首页