beyond谚语的博客

Transformer架构简略学习了解小笔记

这个是CUDA driver version，值要大于CUDA runtime version(最终进行筛选，CUDA runtime version可以是。因为我的电脑比较老，然后选择之前的版本CUDA进行下载安装。的算力，(2008年奥运限定款电脑 哈哈哈哈)，找到CUDA为10.1的进行安装。的算力，对应可以选择。，打开命令窗口，输入。

网络训练好了，需要提供输入进行验证网络模型训练的效果。

这里使用随机梯度下降SGD优化器，设置自动学习速率，每轮的学习速率会乘以0.1，随着训练次数的增加，学习速率会变小十四、OPTIM。

例如：基于VGG16网络模型架构的基础上加上了一层线性层，最后的输出为10类，传入需要保存的模型名称以及要保存的路径位置保存模型结构和模型的参数，保存文件较大。

vgg16_false = torchvision . models . vgg16(pretrained = False) #加载未经ImageNet数据集训练的VGG16网络模型架构 print(vgg16_false) #原始VGG16网络结构 """VGG()))""" """向VGG中添加一个名叫add_linear的线性层Linear。

梯度为tensor中的一个属性，这就是为啥神经网络传入的数据必须是tensor数据类型的原因，grad这个属性其实就是求导，常用在反向传播中，也就是通过先通过正向传播依次求出结果，再通过反向传播求导来依次倒退，其目的主要是对参数进行调整优化，详细的学习了解可自行百度。这里使用的损失函数为loss，其对象为result_loss，当然也可以使用其他的损失函数。使用优化器的step方法，会利用之前得到的梯度grad，来对模型中的参数进行更新。使用CIFAR-10数据集的测试集，使用之前实现的网络模型，

损失函数的作用：1，损失函数就是实际输出值和目标值之间的差2，由这个差便可以通过反向传播对之后的数据进行更新里面由很多种损失函数，不同的损失函数有其不同的用途及表达式。

torch.nn.Sequential(*args)由官网给的Example可以大概了解到Sequential是将多层网络进行便捷整合，方便可视化以及简化网络复杂性这里面有个Hidden units隐藏单元其实就是连个线性层把隐藏层全部展开整个神经网络架构如下：查看下官网给的卷积层padding的计算公式分析一下：故padding = 2，加了两成外边，之所以channel由3变成了32，是因为卷积核有多个并非一个卷积核最终：输入3通道；输出32通道；stride = 1；padding

以VGG神经网络为例，Linear Layers可以将特征图的大小进行变换由(1,1,4096)转换为(1,1,1000)

其中表示是否在对原始数据进行替换由函数图可以看出，负数通过ReLU之后会变成0，正数则不发生变化例如：input = -1，若inplace = True，表示对原始输入数据进行替换，当通过ReLU函数(负数输出均为0)之后，input = 0若inplace = False(默认)，表示不对原始输入数据进行替换，则需要通过另一个变量(例如output)来对ReLU函数的结果进行接收存储，通过ReLU函数之后，output = 0，input = -1。

最大池化层最大池化层最大池化层例如：池化核为(3,3)，输入图像为(5,5)，步长为1，不加边最大池化就是选出在池化核为单位图像中的最大的值。

out_channels将强制转换为3，而因为是-1故需要将多余的通过batch进行扩展，也就是增加每组图片的数量，故在tensorboard中显示的时候input和output显示的每组数量不一样。通过指定端口2312进行打开tensorboard，若不设置port参数，默认通过6006端口进行打开。因为通道数的不同，无法上传至tensorboard展示，故又通过。，logdir为打开事件文件的路径，port为指定端口打开；，输入3通道，卷积操作之后输出6通道。对output进行了转换下格式，其中。

进入到PyTorch的API学习页面PyTorch提供了很多的神经网络方面的模块，NN就是Neural Networks的简称。

通过指定端口2312进行打开tensorboard，若不设置port参数，默认通过6006端口进行打开。，logdir为打开事件文件的路径，port为指定端口打开；点击该链接或者复制链接到浏览器打开即可。在Terminal下运行。

通过阅读官网给的解释可以大概了解到，一共6w张图片，每张图片大小为32×32，5w张训练图像，1w张测试图像，一共由十大类图像。若下载慢，可以通过复制蓝色超链接，进行通过浏览器等方式下载。

transform是torchvision下的一个文件，这个python文件中定义了很多的类和方法，主要实现对图片进行一些变换操作进入到__init__.py文件中进入文件中，可以看到transforms其实就是transform.py一个python文件，可以理解为其是一个工具包点击Structure，或Alt+7，查看下这个文件的大概结构框架File–Settings–keymap–structure，可以查看快捷键通俗点：transform指的就是文件，该文件里面有好多类，可以对图像进

管理员身份运行，进入自己的环境环境，进行下载，也可以通过进行下载。其实通俗点，pip相当于菜市场，conda相当于大型正规超市。

dir()函数可以理解为打开某个，help()可以理解为返回如何使用某个具体的例如：若一个A钱包里面有a，b，c，d四个小包，则可通过dir(A)，打开该A钱包，返回a，b，c，d四个小包；若b小包中有1，2，3张银行卡，则help(1)表示如何使用银行卡1。拿为例进行说明首先导入torch这个包，接着通过dir函数进行打开torch这个包，dir(torch)，返回一系列torch包下的小包，其中就有cuda小包接着打开cuda小包，，返回一系列cuda小包下的各种方法，其中就有方法。...

最新版的anaconda可能会需要各种各样的问题，python3.6版本比较稳定，建议使用。老铁们可以通过，，查看Anaconda所带的python版本我用的是这个，，如果觉得下载很慢的话，可以通过进行相应版本。