Pytorch学习及实战
文章平均质量分 87
学习Pytorch的过程,2022-2023处于学习阶段
夏天是冰红茶
目前正在考研,今年希望一次上岸
展开
-
模型的权值平均的原理和Pytorch的实现
模型权值平均是一种用于改善深度神经网络泛化性能的技术。通过对训练过程中不同时间步的模型权值进行平均,可以得到更宽的极值点(optima)并提高模型的泛化能力。首先介绍指数移动平均(EMA)方法,它使用一个衰减系数来平衡当前权值和先前平均权值。其次,介绍了随机加权平均(SWA)方法,它通过将当前权值与先前平均权值进行加权平均来更新权值。最后,介绍了Tanh自适应指数移动EMA算法(T_ADEMA),它使用Tanh函数来调整衰减系数,以更好地适应训练过程中的不同阶段。我还在ResNet18模型上进行了简单的实验原创 2024-01-10 18:02:02 · 1442 阅读 · 1 评论 -
基于MINIST的手写数字体识别
基于MINIST的手写数字体识别,通过创建MnistNet类,定义了包含两个卷积层和两个全连接层的深度神经网络。这个网络的设计灵感来自于经典的CNN结构,其中卷积层用于提取图像特征,而全连接层则用于将这些特征映射到最终的类别。通过加载保存的模型权重进行验证,我们成功地对随机选择的五张手写字符图像进行了测试,所有测试样本均被正确分类。这表明我们的模型在实际应用中表现良好。在分析混淆矩阵时,发现对角线上的值比其他地方大,说明模型在训练数据集上表现良好,能够正确地预测大多数样本的类别。手写字符识别模型在设计和实现原创 2023-12-29 22:29:03 · 1842 阅读 · 0 评论 -
GhostNet原理解析及pytorch实现
简要论述GhostNet的核心内容。在训练良好的深度神经网络的特征图中,丰富甚至冗余的信息通常保证了对输入数据的全面理解。上图是ResNet-50中第一个残差组生成的一些特征图的可视化,其中三个相似的特征图对样例用相同颜色的方框标注。其中存在许多相似的特征图对,就像一个幽灵一样。其中一个特征映射可以通过简单的操作(用扳手表示)对另一个特征映射进行变换近似得到。作者认为特征映射中的冗余是一个成功的深度神经网络的重要特征,而不是避免冗余的特征映射,更倾向于采用它们,但以一种经济有效的方式。原创 2023-10-05 19:06:38 · 3838 阅读 · 2 评论 -
Anaconda安装教程以及深度学习环境搭建
最近换新笔记本了,要重新安装软件,以前本来是想要写这个教程的,但当时由于截图不全还要懒得再下载重装,就放弃了,到后面又搁置了,而现在还要重新配置环境,所幸我有机会把这个教程写完整。CUDA(Compute Unified Device Architecture)中文名为统一计算设备架构,是显卡厂商NVDIV推出的运算平台,可以帮助GPU处理图形相关的计算问题。我们可以通过在命令行输入以下命令来查看我们电脑的CUDA版本配置,下面可以看到我的CUDA版本为12.0(若电脑没有独立显卡,则该命令输入无效)。原创 2023-08-23 21:03:17 · 361 阅读 · 0 评论 -
VGG分类实战:猫狗分类
VGG分类实战:猫狗分类。数据集选择的是Kaggle上的Cat and Dog,猫狗图片数量上达到了上万张。你可以通过这里进入Kaggle下载数据集。在我的Github仓库当中也放了猫狗图片各666张。VGG的主要特点是使用了一系列具有相同尺寸 3x3 大小的卷积核进行多次卷积操作。这种结构的一个优势是可以堆叠更多的卷积层,使得网络能够学习到更复杂的特征。让我们来探究一下在2014年的ImageNet图像分类竞赛中取得显著成绩的VGG模型效果如何。原创 2023-08-16 17:17:48 · 1874 阅读 · 6 评论 -
PyTorch中常见损失函数的简单解释和使用
损失函数,又叫目标函数。在编译神经网络模型必须的两个参数之一。另一个必不可少的就是优化器,我将在后面详解到。这篇博客适合那些希望了解在PyTorch中常见损失函数的读者。通过一个自定义的类FunLoss展示了如何计算不同类型的损失函数,包括L1Loss、SmoothL1Loss、MSELoss、CrossEntropyLoss和NLLLoss。原创 2023-06-18 00:23:09 · 1501 阅读 · 0 评论 -
解决d2l包下载不了的问题
d2l包是李沐老师等人开发的《动手深度学习》配套的包,最初的时候,我并没有安装的想法,可在代码实现方面,常常要自己写函数实现同样的效果,且因为用于Tensor数据的一些转换,让人颇感吃力(比如显示图片)。所以,今天在尝试安装,具体的方法李沐老师也给出了,但我的频繁报错,所有大家不妨先去看看李沐老师提供的方法。下载这个文件即可,下载的位置找到后,将其移动到需要安装的虚拟环境当中。当你获得下面相似的内容,就说明了d2l包下载成功。这个需要下载的东西较多,耐心等待。原创 2023-01-17 22:42:09 · 8304 阅读 · 24 评论 -
深度学习:03 PyTorch的数据类型Tensor
Tensor,即张量,它是PyTorch中基本的操作对象,简单的理解就是多维矩阵。Tensors与Numpy中的 ndarrays类似,但是在PyTorch中 Tensors 可以使用GPU进行计算。每个章节涉及的函数已经归纳在下方,可以随时查找用法。希望你能在此篇中有所收获原创 2022-12-27 16:03:20 · 1894 阅读 · 4 评论 -
深度学习:04 神经网络的搭建
首先,这里主要是能够建立一个神经网络,不免会用到torch.nn,所以涉及到的会有讲解,没有用到的就我也不是很了解的。当然在这里我提供了链接,方便进行学习。。原创 2022-12-31 19:22:56 · 1655 阅读 · 4 评论 -
深度学习基础与线性回归实例
介绍:这是一个教育对收入影响的数据,从图像的走势来看,它是具有一个线性关系,即受教育年限越长收入越高,这样我们可以通直线来抽象出它们的关系。接下来,我们将会介绍一些方法,分别是单变量线性回归算法、成本函数与损失函数、梯度下降算法。首先要提到的是单变量线性回归算法,我们有这样一个函数我们使用f(x)这个函数来映射输入特征值和输出值。这个时候问题就转化为了,这条直线需要画在什么地方才合适,或者我们说w和b该取什么样的值呢?原创 2022-11-27 09:54:17 · 1000 阅读 · 2 评论 -
UCI German Credit 数据集完成logistic回归实战
Logistic Regression 虽然被称为回归,但其实际上是分类模型,并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。Logistic 回归的本质是:假设数据服从这个分布,然后使用极大似然估计做参数的估计。Sigmod函数是最常见的logistic函数,因为Sigmod函数的输出的是是对于0~1之间的概率值,当概率大于0.5预测为1,小于0.5预测为0,所以这里会用到它。原创 2023-01-02 21:50:11 · 3030 阅读 · 3 评论