深度学习算法
知了不知蝉鸣惊
AI
展开
-
卷积神经网络原理CNN
一. CNN诞生背景问题一:CNN最早在图像识别领域提出,像素数据很难通过人的理解来提取特征,即特征工程。问题二:普通神经网络(NN)采用全连接结构(下左图),会使得需要训练的参数过多,超过了现在硬件的计算能力,且容易引起过拟合。解决方案: 1. (SIFT + SVM): 最初是使用只能用SIFT等算法提取特征,然后结合后** 优点:对图像一定程度的缩放,平移和旋...原创 2018-05-02 16:30:41 · 1301 阅读 · 0 评论 -
LSTM GRU CNN Seq2seq知识点概要
文章目录1. RNN 循环神经网络rnn的优点和缺点rnn cell示意图 及 rnn2. LSTM 长短时记忆网络画图和公式RNN与LSTM3. GRU网络3.1 公式3.2 GRU网络和LSTM网络的比较4. CNN网络知识权重参数个数:卷积后隐藏层的size:卷积feature map不变的配置:padding的same和valid:池化层的作用卷积的特点/为何用卷积/卷积神经网络的特点卷积...原创 2019-03-15 15:31:22 · 865 阅读 · 0 评论 -
激活函数知识点汇总
https://blog.csdn.net/u011684265/article/details/78039280relu 函数relu(x) = max ( x, 0 )为什么使用relu?第一,采用sigmoid等函数,算激活函数时候(指数运算),计算量大,反向传播求误差梯度时,求导涉及除法,计算量相当大,而采用Relu激活函数,整个过程的计算量节省很多。第二,对于深层网络,...原创 2019-03-25 17:05:28 · 754 阅读 · 1 评论 -
BN算法 批量归一化算法
1. BN算法的过程2015年的论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》思想:给每层神经网络的输出做一个归一化,归一化过程的参数由网络训练产生。2. BN算法的好处可以增加训练速度,防止过拟合:如果没有归一化,每一层训练后的数据分布都不...原创 2019-03-25 17:34:42 · 739 阅读 · 0 评论 -
梯度弥散和梯度爆炸
1. 什么是梯度弥散和梯度爆炸(发生原因)梯度弥散:由于导数的链式法则,连续多层小于1的梯度相乘会使梯度越来越小,最终导致某层梯度为0。梯度爆炸:由于导数的链式法则,连续多层大于1的梯度相乘会使梯度越来越大,最终导致梯度太大的问题。2. 梯度弥散和梯度爆炸会造成什么影响梯度弥散 会使得网络前几层的参数不再更新,最终导致模型的性能很差梯度爆炸 会使得某层的参数w过大,造成网络不稳定,...原创 2019-03-25 17:51:38 · 3789 阅读 · 1 评论