![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 81
Kinno酱
学无止境,继续努力。
展开
-
Transformers for Machine Learning: A Deep Dive阅读笔记
给定一个实数向量Zz1z2zKZz1z2...zK,其中KKKSoftmaxziezi∑j1KezjSoftmaxzi∑j1Kezjezi对于向量ZZZ中的每一个元素ziz_izi,Softmax函数首先计算ezie^{z_i}ezi,即ziz_izi的指数。然后,将这个指数除以所有元素指数的总和。原创 2024-03-24 21:40:11 · 785 阅读 · 0 评论 -
使用Pytorch进行梯度下降的计算
输出:这段代码演示了使用PyTorch自动微分功能(autograd)来训练一个简单的线性回归模型。线性回归的目的是找到一个权重 (w),使得模型 (f(x) = w \times x) 能够尽可能准确地预测给定输入 (x) 对应的输出 (y)。这个例子中,我们希望模型学习到的权重使得 (f(x)) 接近真实函数 (f(x) = 2x)。初始化数据和权重:定义模型和损失函数:训练过程:自动梯度计算:PyTorch的自动微分引擎(autograd)使得计算梯度变得简单。通过在损失张量上调用 方法,PyTo原创 2024-03-10 19:58:31 · 429 阅读 · 0 评论 -
使用Numpy手工模拟梯度下降算法
通过不断重复这个过程(前向传播、损失计算、梯度计算、权重更新),www逐步被调整,以最小化模型的总损失。每次迭代,梯度告诉我们如何调整www以减少损失,学习率α\alphaα控制了这个调整的步长。随着迭代的进行,模型预测ypredypred会逐渐接近真实值YYY,损失函数值会持续减小,直至收敛到最小值或达到学习的终止条件。原创 2024-03-10 19:16:28 · 870 阅读 · 0 评论 -
Pytorch学习资料
Pytorch Tutorial: https://www.youtube.com/playlist?list=PLqnslRFeH2UrcDBWF5mfPGpqQDSta6VK4PyTorch for Deep Learning & Machine Learning – Full Course: https://www.youtube.com/watch?v=V_xro1bcAuAPyTorch for Deep Learning & Machine Learning – Full原创 2024-03-10 02:36:26 · 350 阅读 · 0 评论 -
Pytorch报错:grad can be implicitly created only for scalar outputs
创建一个v,作为链式法则中的Jacobine矩阵当执行时,实际上进行的操作是计算向量y相对于其输入张量x的向量-雅可比乘积(vector-Jacobian product, VJP)。这个过程可以更清晰地理解backward方法的工作原理以及v的作用。假设我们有向量函数yfx,其中x和y都是向量,x∈Rny∈Rm。雅可比矩阵J是f相对于x的导数的矩阵表示,其中每个元素Jij∂xj∂yi。原创 2024-03-09 23:07:19 · 1146 阅读 · 0 评论 -
PyTorch会在每次.backward()调用时会累积梯度的问题
这段代码展示了在PyTorch中如何计算梯度、梯度累积的特性以及清空梯度的重要性。在实际训练模型时,适时清空梯度是保证模型正确学习的关键步骤之一。原创 2024-03-10 02:17:20 · 1103 阅读 · 0 评论