![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DeepLearning
文章平均质量分 78
W_dyyy
一个忙碌的CS研究生的断更学习笔记,更新随缘
展开
-
Pytorch data types and type conversion
Pytorch的数据类型以及一些学习总结原创 2024-06-28 11:26:38 · 863 阅读 · 0 评论 -
self attention详解
公式详解self attention原创 2023-06-01 08:33:17 · 379 阅读 · 0 评论 -
基于动量的逻辑回归实现
1 梯度下降梯度下降是一种一阶迭代迭代最小化算法,总体思想是:向损失函数下降最快的地方移动从某点 开始 迭代计算: (是损失函数 ) 当最小值达到时结束我们可以表示为α在机器学习中被称为学习率,但是梯度下降每一步的长度并非仅仅与α有关,而是与有关。当太小时会导致收敛速度非常慢,太大时会有overshooting的风险,最佳的值可以通过line search找到 。2 衰减与动量(momentum)学习率的变化可以是适应性的,也可以是遵循一定计划的。我们可以通过定义一个衰...原创 2022-03-08 22:03:52 · 1007 阅读 · 0 评论