![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
lpppcccc
这个作者很懒,什么都没留下…
展开
-
Batch Normalization
看到一篇很好地解释BN的文章,转载一下原文地址:https://www.cnblogs.com/skyfsm/p/8453498.html简介BNBN是由Google于2015年提出,这是一个深度神经网络训练的技巧,它不仅可以加快了模型的收敛速度,而且更重要的是在一定程度缓解了深层网络中“梯度弥散”的问题,从而使得训练深层网络模型更加容易和稳定。所以目前BN已经成为几乎所有卷积神经网络的标配...转载 2019-05-02 21:57:40 · 123 阅读 · 0 评论 -
深度学习常用优化方法
以下方法都是总结吴恩达深度学习课程的方法。(1)梯度下降batch-GD(size=m):速度比较慢,但每一次都是最优方向;随机梯度下降(size=1):不能用向量加速,相对来说速度慢,而且最后只会在最优值附近徘徊;mini-batch(size=16,32,64,128):速度较快,虽然也会在最优值之间徘徊,但是可以调整学习率使得到达最优值;(2)动量梯度下降(Momentum)动量...原创 2019-05-04 10:40:27 · 779 阅读 · 0 评论 -
吴恩达深度学习知识点总结(复习)
逻辑回归1、逻辑回归为什么不采用平方损失?因为平方损失是一个非凸函数,利用梯度下降容易陷入局部最优2、sigmoid函数的导数3、逻辑回归参数更新过程逻辑回归损失(交叉熵损失)和平方损失,计算得到的梯度dw和db是一的,dw=x(A-Y),db=A-Y,如果借助向量运算,同时计算m个样本,那么梯度需要对m求平均。在编码时,还需要考虑维度信息,如转置。。浅层神经网络1、为什么要使用非...原创 2019-05-04 11:23:51 · 682 阅读 · 0 评论 -
经典CNN模型特点总结
参考文章地址:https://www.cnblogs.com/skyfsm/p/8451834.html1、LeNet定义了CNN的最基本的架构:卷积层、池化层、全连接层。2、AlexNet特点:更深的网络数据增广技巧来增加模型泛化能力。用ReLU代替Sigmoid来加快SGD的收敛速度引入drop out防止过拟合Local Responce Normalization:局部...原创 2019-05-05 18:24:56 · 6453 阅读 · 0 评论 -
RNN知识点复习
循环神经网络循环神经网络作为一种新型的网络结构,在处理序列数据问题上则不存在上面的两个缺点。在每一个时间步中,循环神经网络会传递一个激活值到下一个时间步中,用于下一时间步的计算。如下图所示:循环神经网络的前向传播:下图是循环神经网络结构图:穿越时间反向传播GRU单元门控循环单元(Gated Recurrent Unit, GRU)改变了RNN的隐藏层,使其能够更好地捕捉深层次连接...原创 2019-05-24 15:16:38 · 338 阅读 · 0 评论 -
词嵌入(word embedding)
1. 词汇表征在前面学习的内容中,我们表征词汇是直接使用英文单词来进行表征的,但是对于计算机来说,是无法直接认识单词的。为了让计算机能够能更好地理解我们的语言,建立更好的语言模型,我们需要将词汇进行表征。下面是几种不同的词汇表征方式:one-hot 表征:在前面的一节课程中,已经使用过了one-hot表征的方式对模型字典中的单词进行表征,对应单词的位置用1表示,其余位置用0表示,如下图所示:...原创 2019-05-28 10:15:00 · 1109 阅读 · 0 评论