李宏毅深度学习
m0_58586235
这个作者很懒,什么都没留下…
展开
-
李宏毅深度学习——Recurrent Neural Network (RNN)
上图中当我们输入Taipei,一个表达的是目的地,另一个表达的是出发地,我们该如何让神经网络在输入相同时,按照情景不同输出不同,这就需要让神经网络具有记忆功能,能够根据Taipei之前面的单词决定相应输出。RNN是具有记忆功能的网络。隐藏层的输出值被储存在了memory中,memory可以继续作为另一个输入值。例如下图。设所有的权重都为1,没有偏置值。设在开始时memory为0,所以绿色部分的值计算过程为1*1+1*1+0+0=2。此时将2更新到memory中。橘色部分计算为2*1+...原创 2022-03-15 10:36:13 · 216 阅读 · 0 评论 -
李宏毅深度学习——self-attention
原创 2022-03-13 21:57:14 · 378 阅读 · 0 评论 -
李宏毅深度学习——卷积神经网络CNN
卷积层有两种解释方式如下版本一 神经元当我们人类在识别物体时,是分特征部位进行辨识。(比如,有尖尖的嘴,有羽毛,有翅膀,会飞,则可能为鸟类)可以将图片中的物体分成好几个部分(如鸟类的翅膀,喙),在对每个部分进行识别时,可以以接受域(receptive field)作为输入单位。每一个接受域由多个像素组成,可由一个或多个神经元识别。如上图所示,每个部分可以链接不同的神经元,不同部分之前可以重叠。每个接受域在作为神经元的输入时,需要展成一个一维向量。接受域内的卷积核可以按照...原创 2022-03-13 20:47:44 · 3150 阅读 · 0 评论 -
李宏毅深度学习——机器学习训练(三)批次batch和动量momentum
一.batch size当采用较小的梯度进行梯度下降时可能会出现:1.梯度在损失函数较为平缓段,下降速度十分缓慢2.梯度下降停在鞍点3.梯度下降停在局部最小值当使用批量优化处理梯度时然而,不同batch对于梯度处理有较大影响。虽然在使用gpu处理不同大小batch的时间并没有太大差距(下左图),但当一个epoch含有的batch越多,处理一个epoch所需输入的batch数越多,时间也越长(下右图)。然而,batch并非越大越好。当batch较小时,...原创 2022-03-13 12:32:13 · 964 阅读 · 0 评论 -
李宏毅深度学习——机器学习训练(二)局部最小值和鞍点
使用梯度下降最小化损失函数时,可能会出现梯度为零但损失仍大的情况,此时到达鞍点或局部最小值现使用泰勒级数逼近,从数学角度判断该点类型。critical point:临界点eigen:特征...原创 2022-03-13 11:52:27 · 552 阅读 · 0 评论 -
李宏毅深度学习——机器学习训练(一) 如何调整模型,过拟合处理
如何调整模型?有关过拟合过拟合的一般描述过拟合的处理方式:1.更多的训练数据(限制模型的free程度)2.数据图片进行合理化处理3.对模型增加限制但不可限制过多,否则容易变成model bias...原创 2022-03-13 11:06:04 · 504 阅读 · 0 评论