深度学习
文章平均质量分 86
YKbsmn
还需要沉淀
展开
-
批量Batch and 动量Momentum
Batch and Momentum。动量 —— 逃离Saddle point 和 localminima了的一个方法原创 2022-10-29 16:29:59 · 1056 阅读 · 0 评论 -
pytorch的广播机制,以及其他函数.size()、.item、argmax()、.cpu()、.detach()和.data的使用
pytorch中.size()、.item、argmax()、.cpu()、.detach()和.data的使用原创 2022-10-28 16:30:43 · 2505 阅读 · 0 评论 -
Bert代码解析,逐句分析
Bert代码讲解,逐句解析原创 2022-10-24 22:35:57 · 1776 阅读 · 1 评论 -
PyTorch基础知识学习
Pytorch基础知识(Tensor的创建和操作、自动求导原创 2022-08-16 20:31:41 · 1603 阅读 · 0 评论 -
局部最小值(local minima)和鞍点(saddle point)
梯度下降法优化有时候会失效?你可能会想到是因为我们现在走到一个地方,这个地方参数对L的微分为0。当参数对L的微分为0时,梯度下降就停止了,也就无法继续更新参数了。这个时候training就停下来了,L当然就不会下降了。那么gradient为零(统称为critical point)的时候,有哪种情况?1、局部最小值2、鞍点(如图可看出,左右是比红点高,前后比红点低。)...原创 2022-04-12 16:58:04 · 9693 阅读 · 0 评论 -
(超详细) Gradient Descent(梯度下降)和Back propagation(反向传播)的关系
Gradient Descent(梯度下降)1. 是什么?梯度下降是用来找出参数,使得损失函数最小化。2. 梯度下降法是怎么实现的?先设置一推参数(参数包括权值w,偏差b(bias))原创 2022-04-10 18:51:16 · 2800 阅读 · 0 评论