deeplearning
不正经的蒙娜丽莎
天行健,君子以自强不息
展开
-
注意力机制在softmax时除以一个根号d的作用
from math import expfrom matplotlib import pyplot as pltimport numpy as np f = lambda x: exp(x * 2) / (exp(x) + exp(x) + exp(x * 2))x = np.linspace(0, 100, 100)y_3 = [f(x_i) for x_i in x]plt.plot(x, y_3)plt.show()得到的图如下所示:原文链接:https://www..转载 2021-09-22 16:47:10 · 3022 阅读 · 0 评论 -
PyTorch中.item()用法
转载 2021-09-20 14:40:11 · 368 阅读 · 0 评论 -
torchvision中transforms.Normalize()的形参理解
原文链接:https://blog.csdn.net/qq_42079689/article/details/102574358转载 2021-09-18 18:56:49 · 458 阅读 · 0 评论 -
pytorch中zero_grad()、cross entropy损失函数计算方式
在PyTorch中,对模型参数的梯度置0时通常使用两种方式:model.zero_grad()和optimizer.zero_grad()。model.zero_grad()model.zero_grad()的作用是将所有模型参数的梯度置为0。其源码如下:for p in self.parameters(): if p.grad is not None: p.grad.detach_() p.grad.zero_()optimizer.zero_grad()原创 2021-09-18 15:06:38 · 406 阅读 · 0 评论 -
深度学习中的上采样
上采样一些常见的方法有:近邻插值(nearest interpolation)、双线性插值(bilinear interpolation),双三次插值(Bicubic interpolation),反卷积(Transposed Convolution),反池化(Unpooling)。近邻插值最近邻插值法nearest_neighbor是最简单的灰度值插值。也称作零阶插值,就是令变换后像素的灰度值等于距它最近的输入像素的灰度值。最近邻插值法可应用于图像的缩放,因为简单的变换与计算,效果一般不好。举例说明其转载 2021-09-05 15:46:33 · 985 阅读 · 0 评论 -
循环神经网络(RNN)、长短时记忆网络(LSTM)及(GRU)模型
循环神经网络(RNN)循环神经网络区别于其他神经网络在于循环二字,这里的循环是指隐含的输出(v)重新输入隐含权重参与模型训练,不同时刻的输入(X)也要放入隐含层权重中。隐含权重是循环到不同时间段其参数不一样,但隐含权重是共用的,注意在图中unfold下隐含权重矩阵只是一个矩阵(这里稍后解释:隐含的输出(v)和对应的输入(x)怎样共用一个矩阵),之所以呈现多个是为了对应不同的时刻。在继续往下叙述之前,有一个优化问题要解决,即共用一个矩阵,这里可以通用一个简单的例子进行说明:为方便理解,隐含变量为二维,原创 2021-08-28 11:11:00 · 1655 阅读 · 0 评论 -
生成网络模型之变分自编码
在这里插入图片描述原创 2021-02-25 11:35:01 · 121 阅读 · 0 评论