深度学习
文章平均质量分 82
关于深度学习
—Xi—
机器学习/数据挖掘/爬虫/推荐系统
展开
-
【深度学习】吴恩达-笔记 Softmax layer、优化神经网络、贝叶斯最优错误率、改变错误率指标、迁移学习
如果你要做一个计算机视觉的应用,相比于从头训练权重,或者说从随机初始化权重开始,不如你下载别人已训练好的网络结构的权重,你通常能够进展的相当快。你冻结的网络中包含所有层的参数,你只需要训练和你的Softmax层有关的参数。这个理念就是,如果你有一个更大的训练集,也许有足够多的数据,那么不要单单训练一个Softmax单元,而是考虑训练中等大小的网络,包含你最终要用的网络的后面几层。此时,就需要针对我们自己的任务,固定原始网络的相关层,修改网络的输出层,以使结果更符合我们的需要。这样的操作显然是非常耗时的。..原创 2022-08-31 12:21:05 · 1545 阅读 · 0 评论 -
【深度学习】吴恩达-学习笔记 优化算法(动量梯度,RMSprop,Adam)、参数初始化、Batch Norm
动量梯度下降法采用累积梯度来代替当前时刻的梯度。直观来讲,动量方法类似把球推下山,球在下坡时积累动力,在途中速度越来越快,如果某些参数在连续时间内梯度方向不同,动量就会变小,反之,在连续时间内梯度方向一致,动量会增大。动量梯度下降法可以更快速的收敛并减少目标函数的震荡。 是动量参数,通常取0.9, 为超参数,是x轴方向的动量,是纵向y轴方向的动量。是梯度更新的步长。 RMSprop可以自适应调整每个参数的学习率,此外,RMSprop可以客服学习率过早衰减的问题。相较于动量梯度下降法,()后相乘的微分变为微分原创 2022-08-30 21:50:23 · 785 阅读 · 0 评论 -
【深度学习】吴恩达-课后作业-搭建多层神经网络以及应用
【代码】【深度学习】吴恩达-课后作业-搭建多层神经网络以及应用。原创 2022-09-15 19:22:45 · 763 阅读 · 0 评论 -
【深度学习】吴恩达-学习笔记 偏差与方差、正则化、梯度检测、mini-batch
如果训练集中样本数量m = 5000000,每个mini_batch包含5000个样本,则一共有1000个mini_batch,每次同时处理的是这5000个mini_batch中的X和y。首先生成跟a3隐藏层相同shape的随机数,小于0.8的等于1,大于0.8等于0,再生成一个0-1矩阵d3,与a3相乘,将a3中的系数剔除20%(遇到0的系数归零)mini_batch size = 1,则为随机梯度下降,失去向量化带来的加速,效率低下。mini_batch size应该处于1-m之间。..........原创 2022-08-30 18:47:17 · 477 阅读 · 0 评论