PyTorch
文章平均质量分 85
有关pytorch的一些经验与知识总结
鱼儿也有烦恼
本博客主要记录个人学习过程中的笔记,旨在分享学习旅程的精华与见解。
若有所助,幸甚;若有谬误,敬请斧正。
展开
-
PyTorch实现L1和L2正则化
1.L1正则化与L2正则化介绍 2.利用torch.optim实现正则化 3.利用torch.optim实现正则化进阶(建议使用👏) 4.方法一:直接在loss后面加对应的惩罚项 4.1 L1正则化实现思路 4.2 L2正则化实现思路 5.方法二:通过封装一个正则化类实现正则化 5.1 封装一个实现正则化的Regularization类 5.2 利用Regularization类添加正则化原创 2024-07-27 20:21:33 · 564 阅读 · 0 评论 -
从零开始搭建一个PyTorch模型
为了更好的理解PyTorch模型的架构,本文使用手写数字识别的例子,从零开始一步步搭建一个标准的前馈神经网络。1.神经网络的搭建思路?2.模型搭建流程2.1加载数据集2.2定义模型(搭建网络结构)2.3创建三个对象(模型本身、优化器、损失函数)2.4模型训练2.5模型测试3.手写数字识别可执行代码原创 2024-07-24 18:10:58 · 813 阅读 · 0 评论 -
深度学习调参基础
深度学习调参基础 1.需要调节的超参数有哪些? 2.什么时候需要调参? 3.如何调参? 3.1过拟合情况调参 3.2欠拟合情况调参 3.3收敛但震荡情况调参 3.4不收敛情况调参 4.调参示例 需要调节的超参数有哪些?和网络结构相关的参数:神经网络的网络层数、不同层的类别和搭建顺序、隐藏层神经元的参数设置、LOSS层的选择、正则化参数;和训练过程相关的参数:网络权重初始化方法、学习率使用策略、迭代次数、Batch的大小、输入数据相关。原创 2024-07-10 21:52:18 · 630 阅读 · 0 评论 -
TensorBoard进阶
1.设置TensorBoard(重点✅)2.图像数据在TensorBoard中可视化3.模型结构在TensorBoard中可视化(重点✅)4.高维数据在TensorBoard中低维可视化5.利用TensorBoard跟踪模型的训练过程(重点✅)6.利用TensorBoard给每个类绘制PR曲线7.在TensorBoard中绘制训练与验证损失对比曲线(重点✅)8.TensorBoard的跟踪参数曲线图线条紊乱的解决办法(重点✅)9.TensorBoard中通过分层命名图避免UI混乱原创 2024-07-05 16:09:52 · 1040 阅读 · 0 评论 -
在PyTorch中使用TensorBoard
在机器学习中,要改进模型的某些参数,我们通常需要对其进行衡量。TensorBoard是用于提供机器学习工作流期间所需测量和呈现的工具。它使我们能够跟踪实验指标(例如损失和准确率),呈现模型计算图,将嵌入向量投影到较低维度的空间等。在PyTorch中使用TensorBoard:1.安装2.TensorBoard使用2.1创建SummaryWriter实例2.2利用add_scalar()记录metrics2.3关闭Writer2.4启动TensorBoard3.本地连接服务器使用TensorBoard原创 2024-07-05 16:01:35 · 1169 阅读 · 0 评论 -
PyTorch如何修改模型(魔改)
对模型缝缝补补、修修改改,是我们必须要掌握的技能,本文详细介绍了如何修改PyTorch模型?也就是我们经常说的如何魔改。PyTorch 的模型是一个 torch.nn.Module 的某个子类的对象,修改模型实际就等价于修改某个类,对面向对象熟悉的同学应该知道,对类做修改有两个经典的方法:组合和继承。1.修改模型层(模型框架⭐)1.1通过继承修改模型1.2通过组合修改模型(重点学👀)1.3通过猴子补丁修改模型2.添加外部输入3.添加额外输出。原创 2024-04-29 12:16:37 · 1572 阅读 · 0 评论 -
PyTorch如何保存验证集上效果最好的模型
验证集的作用是在训练过程中监测是否出现过拟合。通常情况下,我们期望验证集的损失函数值在训练过程中首先下降,然后趋于稳定或上升。当损失函数值达到最小值时,表示模型在验证集上的泛化能力最佳,效果最好。当我们的模型在训练后,在验证集上进行验证时,通常我们想要保留效果最好的模型,想要找到在哪个epoch下模型的效果最好,而不是将每个epoch下的模型都保存。因此,通过设定一个最小损失的阈值,在每次epoch结束后,都与该阈值进行比较,当小于此阈值时,修改阈值并保存当前epoch下对应的模型。原创 2024-04-19 16:49:26 · 435 阅读 · 0 评论 -
PyTorch Scheduler动态调整学习率
深度学习中长久以来一直存在一个令人困扰的问题,那就是如何选择适当的学习率。如果学习速率设置得过小,会导致模型收敛速度缓慢,训练时间延长;而如果学习率设置得太大,可能会导致参数在最优解附近来回波动。然而,即使我们选定了一个合适的学习率,在经过多轮训练后,仍可能出现准确率的震荡或损失不再下降等情况,这表明当前的学习率已经不能满足模型调优的需求。在这种情况下,我们可以采用适当的学习率衰减策略来改善模型的性能,从而提高精度。这种策略在PyTorch中被称为调度器(scheduler)。原创 2024-04-15 10:52:34 · 834 阅读 · 0 评论 -
关于深度学习的 PyTorch 项目如何上手分析?从什么地方切入?
当我们拿到一个 PyTorch 的深度学习项目时,应该怎么入手?怎么去查看代码?首先阅读对应项目的 `README.md` 文件。通过观察项目中文件、文件夹的命名,对每个文件的功能有一个初步的判断。分析模型的结构。查看模型的数据处理操作(可选)。查看模型的训练过程。查看模型的评估(测试)过程。查看模型的参数配置。通过上面的分析,项目的核心我们就掌握了,接下来就可以尝试运行项目的 `train.py` 和`test.py` ,对项目进行训练和评估,并观察模型的训练过程和性能表现。原创 2024-03-29 19:22:50 · 1071 阅读 · 1 评论 -
PyTorch 教程-快速上手指南
本教程翻译自 Pytorch 官方教程:Introduction to PyTorch,适合对 Python 和深度学习具有一定基础的同学学习,是 Pytorch 的入门教程。包含 PyTorch 快速入门与 PyTorch 基础入门。讲述了如何在PyTorch中实现一个完整的ML工作流,包括处理数据、创建模型、优化模型参数和保存模型等。原创 2024-03-27 16:29:56 · 1303 阅读 · 4 评论 -
查看Pytorch的GPU是否可用
查看Pytorch的GPU是否可用。import torch;torch.cuda.is_available()返回为`True`表示 Pytorch 的 GPU 可用,返回为`False`表示 Pytorch 的 GPU 不可用。安装Pytorch注意事项。直接去[官网](https://pytorch.org/)复制命令安装,这样安装后的 Pytorch 肯定是有GPU支持的。原创 2024-01-24 12:22:58 · 2772 阅读 · 0 评论