深度学习
Eunice525
这个作者很懒,什么都没留下…
展开
-
批归一化处理、标准化处理和Adam
归一化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内,使得每一层神经网络的分布保持相同分布(0-1分布)。首先归一化是为了后面数据处理的方便,其次是保证模型运行时收敛加快。归一化处理把数据限制在[0,1]之间,而标准化处理则没有限制数据范围。批归一化(batch 归一化、batchNorm):不仅对输入x进行归一化,同时对各个隐藏层的z进行归一化。对各个隐藏层进行归一化时,可以通过设置γ和β参数来构造不同的均值和方差,使得各层的隐藏单元并不总是服从0-1分布,而是隐藏单元(同.原创 2021-11-10 16:24:40 · 750 阅读 · 0 评论 -
MatConvNet训练方法
看到一篇博文,对MatConvNET使用时的训练过程总结得很好。https://www.cnblogs.com/tendence/p/7116095.html?utm_source=itdadao&utm_medium=referralMatConvNET训练步骤如下:记录当前epoch的状态(可以从以前保存的检查点继续开始训练,因此epoch不一定为0) 设置本次epoch的学习率和theta参数 将当前网络移动到gpu(如果有gpu的话) 训练状态设置(对训练集数据洗牌做打乱顺原创 2021-10-26 09:28:54 · 302 阅读 · 0 评论