m0_56997192的博客

它的设计使得用户可以处理各种类型的数据，包括文本、图像、音频等。类型数据集适用于多种数据格式，可以存储更复杂的数据结构，灵活性更高，但通常需要手动处理数据格式。是一个专门用于加载图像数据集的类，适用于数据集目录按类别组织的情况，能够自动处理图像和标签。，因为它本身已经实现了对图像数据的处理，并且返回一个由图像和标签组成的元组。它假设数据集目录结构是按类别组织的，每个类别的图像位于各自的子目录中。库加载的，它通常是一个字典，包含多个字段，你需要在。），每个值是该字段的数据（例如图像和标签）。

本文详细分析了Self-Attention的各种优化改进

本文超详解Transformer

本文详细解读了Self‑Attention的架构，矩阵运算实现过程等。

Spatial Transformer Layer 是对cnn的改进，它使卷积操作不仅具有局部平移不变性，而且对旋转、缩放、非线性形变等其他空间变换也具有更强的鲁棒性

本文分析并提供了一个标准的基于 PyTorch 的分类模型框架，以后遇到相关项目可套模板。

从上面的分析可知，在明显训练时，大的 batch 就一定好吗？从上面的分析不难看出，对于普通的梯度下降优化器，可能会陷入鞍点，但如果利用了二阶信息来梯度下降，就不会陷入鞍点，即在鞍点的时候，当朝着黑塞矩阵负的特征值对应的特征向量的方向更新参数时，损失就会减小，所以可以断定牛顿法（利用二阶信息的梯度下降）可以避免陷入鞍点，但牛顿法计算黑塞矩阵特征值特性向量复杂度太大，一般改进牛顿法，使得在找到近似的负的特征值对应的特征向量的方向的情况下，计算复杂度大大小于计算黑塞矩阵的复杂度。那两种的总和时间怎么样呢？

''''''self.y = yelse:else:这段代码定义了一个自定义的 PyTorch 数据集类，继承自。这个类的目的是将输入的特征（x）和目标（y）封装成一个可以用于 PyTorch 数据加载器的对象，方便在训练和预测时进行批量处理。nn.ReLU(),nn.ReLU(),return x这段代码定义了一个简单的神经网络模型My_Model，继承自。该模型用于执行回归任务（因为最后一层输出的是一个标量），并通过来定义一个包含多层的网络结构。

土堆pytorch教程总结

即python控制台，它可以在右侧实时显示变量的类型，数值大小等属性，非常方便。打开这个界面的方式是点击界面左侧是python图标（图中红色圈出的）。上如下选择后将安装命令复制到 Anaconda Prompt 进行安装（cpu版本），这个创建并安装好ptyorch的环境可在pycharm中使用，就可以使用了。创建虚拟环境命令为：（my_pytorch_1 为新创建的虚拟环境名）在开始菜单中打开Anaconda Prompt；在哪个环境下执行命令就会安装到哪个环境下。界面的右上角new配置环境。

本地数据集上传到colab很慢，而且断开后就没了，因此通过colab将本地的数据集上传到drive，即使断开连接，第二次连接后挂载drive后即可直接使用数据集。将本地数据集上传到colab的临时文件夹中，由于将文件夹上传到colab非常不方便，只能上传单个文件，因此这里上传压缩包，上传后再解压缩，从而得到在临时文件中的数据集文件夹。完成后可见：断开colab连接再重新连接colab，执行下面代码挂载drive后可见上传完成的数据集。将在临时文件中的数据集文件夹移到drive中。