PyTorch学习笔记
文章平均质量分 84
PyTorch模型训练实用教程
执志@☆飞扬か
这个作者很懒,什么都没留下…
展开
-
【PyTorch】09深度体验之图像分类
9 PyTorch深度体验图像分类(Image Classification)【PyTorch】8.1 图像分类9.1 模型如何完成图像分类?图像分类的推理步骤:9.2 ResNet18模型实例【图像分类】ResNet网络结构程序:import osimport timeimport torch.nn as nnimport torchimport torchvision.transforms as transformsfrom PIL import Imagef原创 2022-05-21 18:57:03 · 277 阅读 · 0 评论 -
【PyTorch】08训练技巧
8 PyTorch训练技巧8.1 模型保存与加载模型保存与加载,就是序列化与反序列化,将模型持久化保存【PyTorch】7.1 模型保存与加载torch.save()功能:模型保存,即序列化参数说明:obj:对象f:输出路径torch.load()功能:模型加载,即反序列化参数说明:f:文件路径map_location:指定存放位置,cpu or gpu模型保存的两种方法:官方推荐方法2:方法2比方法1速度快,但方法2只保存了模型参数,加载时需将参数加原创 2022-05-21 18:42:44 · 341 阅读 · 0 评论 -
【PyTorch】07正则化
7 PyTorch的正则化7.1 正则化之weight_decayRegularization:减小方差的策略,从而解决过拟合问题,常见的方法有:L1正则化和L2正则化weight decay(权值衰减)= L2 Regularization在PyTorch的优化器中提供了 weight decay(权值衰减)的实现【PyTorch】6.1 正则化之weight_decay误差可分解为:偏差、方差与噪声之和,即误差=偏差+方差+噪声偏差:度量了学习算法的期望预测与真实结果的偏离程度,即刻原创 2022-05-21 18:32:09 · 614 阅读 · 0 评论 -
【PyTorch】06训练过程
6 PyTorch训练过程6.1 学习率调整学习率(learning rate):控制更新的步伐,注意:学习率不宜设置过大,也不宜设置过小lr初始化:设置较小数:0.01、0.001、0.0001搜索最大学习率:《Cyclical Learning Rates for Training Neural Networks》lr调整策略:学习率前期需设置大,后期需设置小PyTorch 中常用的 lr_scheduler [学习率调整策略] PyTorch API:Doc —> torc原创 2022-05-21 18:23:03 · 417 阅读 · 0 评论 -
【PyTorch】05损失优化
5 PyTorch损失优化5.1 权值初始化【PyTorch】4.1 权值初始化梯度消失与梯度爆炸消失原因:深层网络、不合适的损失函数爆炸原因:权值初始化太大解决方法:梯度剪切、权值正则化、激活函数改进、使用BN(Batch Normalization)、ResNet等Xavier初始化方差一致性:保持网络层的输出数据尺度维持在恰当范围,通常方差为1激活函数:饱和函数,如Sigmoid、TanhKaiming初始化方差一致性:保持网络层的输出数据尺度维持在恰原创 2022-05-21 18:12:41 · 338 阅读 · 0 评论 -
【PyTorch】04模型搭建
4 PyTorch模型搭建4.1 网络模型创建【PyTorch】3.1 模型创建图像分类的经典网络模型:【可以查看使用torchvision.models里面实现的AlexNet、VGG、GoogleNet、ResNet、DenseNet等】alexnet=torchvision.models.AlexNet()densenet=torchvision.models.DenseNet()方法1:初始化(构建子模块)方法2:前向传播(拼接子模块)4.2 nn.Module所有网原创 2022-05-21 18:04:00 · 224 阅读 · 0 评论 -
【PyTorch】03数据处理
3 PyTorch数据处理3.1 数据读取机制DataLoader与Dataset【PyTorch】2.1 DataLoader与Datasetepoch:对训练集的全部数据进行一次完整的训练,即所有训练样本都已经输入到模型中,称为一次epochbatch:由于硬件算力有限,实际训练时将训练集分成多个批次训练batch_size:每批数据尺寸(大小),决定一个epoch有多少个iteration或stepiteration或step:对一个batch的数据训练的过程称为一个iteratio原创 2022-05-21 17:46:31 · 834 阅读 · 0 评论 -
【PyTorch】02基础知识---张量与autograd
2 PyTorch基础知识官方文档:https://pytorch.org/docs/2.1 安装与配置人工智能工具库(Anaconda/Pytorch/PyCharm等)安装环境配置视频教程深度学习环境搭建(从卸载CUDA到安装,以及Pytorch与torchvision的安装)【PyTorch】1.1 PyTorch简介和安装重新创建并切换使用虚拟环境的步骤:退出当前虚拟环境:conda deactivate创建虚拟环境:conda create -n pytorch_1.7原创 2022-05-21 17:20:32 · 308 阅读 · 0 评论 -
【PyTorch】01深入浅出PyTorch
1 深入浅出PyTorchPyTorch定位:深度学习框架,实现深度学习模型算法PyTorch实现模型训练:数据如何把数据从硬盘读到内存?如何划分数据进行训练?图片如何预处理及数据增强?模型如何构建模型模块?如何组织复杂网络?如何初始化网络参数?如何定义网络层?损失函数如何创建损失函数?如何设置损失函数超参数?如何选择损失函数?优化器如何管理模型参数?如何管理多个参数组实现不同学习率?如何调整学习率?迭代训练如何观察训练效果?如何原创 2022-05-21 16:26:23 · 253 阅读 · 0 评论