![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
地瓜不是呱
高校在读学生
展开
-
transformer模型代码
import numpy as npimport torchimport torch.nn as nnimport torch.optim as optimimport matplotlib.pyplot as pltimport mathdef make_batch(sentences): input_batch = [[src_vocab[n] for n in sentences[0].split()]] output_batch = [[tgt_vocab[n] f.原创 2021-12-21 15:01:07 · 978 阅读 · 0 评论 -
深度学习经典优化方法实现
目录前言一、梯度下降二、随机梯度下降三、小批量梯度下降四、Adam算法总结前言参考邱锡鹏老师的《神经网络与深度学习》(俗称蒲公英书),记录一下笔记.一、梯度下降def bgd(params,lr): for param in params: param.data -= lr*param.grad/1000二、随机梯度下降每次迭代只从训练集中取出一个样本更新梯度def sgd(params,lr): ...原创 2021-12-20 10:03:33 · 1234 阅读 · 0 评论