Pytorch学习笔记
文章平均质量分 98
简要学习Pytorch
碧蓝的天空丶
这个作者很懒,什么都没留下…
展开
-
Pytorch:模型的权值初始化与损失函数
这次损失函数整理的内容还是很多的, 主要分为两大块:权重初始化和损失函数, 第一部分是权重初始化方法,而第二部分是损失函数的介绍以及了解了几种损失函数的实现首先在第一节中提到权重的初始化方法,了解了神经网络中梯度消失和梯度爆炸的原理,也知道了权重初始化的重要性,针对各种情况学习了不同的初始化方法,重要的是Xavier初始化和Kaiming初始化方法, 分别针对非饱和激活函数和包含激活函数的网络。然后在第二节回顾了softmax中交叉熵的概念,对损失函数有了初步了解,补充了几点信息学的内容。原创 2023-12-08 17:16:49 · 1025 阅读 · 0 评论 -
Pytorch:模型的保存加载、模型微调、GPU的使用
首先第一部分学习了模型的保存与加载,介绍了两种模型保存与加载的方法, 然后迁移学习以及模型的微调技术,还介绍了迁移学习中常用的两个技巧。 第二部分学习了如何使用GPU加速训练和GPU并行训练方式, 最后贴上了Pytorch中常见的几种报错信息文档。原创 2023-12-11 16:07:35 · 1375 阅读 · 1 评论 -
Pytorch:正则化(L1、L2、Dropout)与归一化(BN、LN、IN、GN)
这次内容首先是正则化,正则化是一种缓解模型的过拟合问题的策略,我们学习了L2正则的原理,L1正则和L2正则的区别,然后学习了L2正则等价于权重衰减。 然后又学习了Dropout正则化,并且对比了一下L2正则和Dropout正则的效果。第二部分是标准化,这主要是解决网络层输出的数据尺度变化不一致的问题, 首先学习了Batch Normalization,学习了它的原理和具体的使用方法,然后又介绍了其他三种标准化方法, LayerNorm Normalization、Instance Normalizati原创 2023-12-10 17:30:22 · 1028 阅读 · 1 评论 -
Pytorch:Tensorboard简要学习
本文简要介绍了 TensorBoard,介绍了TensorBoard的安装和启动(当然并不能够应付全部情况)以及几个简单函数的使用,借助这些功能,可以能够查看和调试我们训练的模型的内部工作,并最终提高它们的性能。原创 2023-12-12 11:49:39 · 1110 阅读 · 0 评论 -
Pytorch:优化器和学习率
这节内容第一部分先是优化器的介绍,然后了解了优化器的属性和方法,并通过代码调试的方式了解了优化器的初始化和使用原理。 重点是了解了动量(EMA)并且学习了学习了SGD优化器。第二部分介绍了学习率,并且知道了优化器中非常重要的一个参数就是学习率,所以最后又了解了学习率的6种调整策略。原创 2023-12-09 17:35:30 · 884 阅读 · 0 评论 -
Pytorch:模型创建(Module)、模型容器(Containers)、AlexNet构建
首先学习模型的创建步骤和nn.Module的相关细节, 然后学习搭建模型的容器Containers,其中包括nn.Sequential, nn.ModuleList, nn.ModuleDict, 最后看看一个经典的网络AlexNet。原创 2023-12-06 20:59:04 · 996 阅读 · 1 评论 -
Pytorch:网络层介绍(卷积层、池化层、线性层、激活函数层)和多层感知机
这次学习各个子模块的使用。 第一块内容是从比较重要的卷积层开始, 学习了1维/2维/3维卷积到底在干什么事情,采用了动图的方式进行演示, 卷积运算其实就是通过不同的卷积核去提取不同的特征。 然后学习了Pytorch的二维卷积运算及转置卷积运算,并进行了对比和分析了代码上如何实现卷积操作。第二块是池化运算和池化层的学习,然后了解了,最后是非线性激活函数。第三块就是了解一下多层感知机的概念。原创 2023-12-07 16:50:21 · 1243 阅读 · 0 评论 -
Pytorch:数据增强
介绍数据的预处理模块transforms的运行机制,了解一些transforms中常用的图像预处理方法,简要了解transforms的运行机制并了解数据标准化(Normalize)的使用原理。原创 2023-12-05 11:44:54 · 1111 阅读 · 1 评论 -
Pytorch:简介、张量、简单操作和回归模型
Pytorch入门,介绍Tensor的使用原创 2023-12-03 21:16:29 · 976 阅读 · 0 评论 -
Pytorch:数据读取机制(DataLoader与Dataset)
自定义类"""rmb面额分类任务的Dataset:param data_dir: str, 数据集所在路径:param transform: torch.transform,数据预处理"""self.data_info = self.get_img_info(data_dir) # data_info存储所有图片路径和标签,在DataLoader中通过index读取样本img = self.transform(img) # 在这里做transform,转为tensor等等# 遍历类别。原创 2023-12-04 16:35:28 · 1476 阅读 · 0 评论