m0_62919535的博客

模型权值平均是一种用于改善深度神经网络泛化性能的技术。通过对训练过程中不同时间步的模型权值进行平均，可以得到更宽的极值点（optima）并提高模型的泛化能力。首先介绍指数移动平均（EMA）方法，它使用一个衰减系数来平衡当前权值和先前平均权值。其次，介绍了随机加权平均（SWA）方法，它通过将当前权值与先前平均权值进行加权平均来更新权值。最后，介绍了Tanh自适应指数移动EMA算法（T_ADEMA），它使用Tanh函数来调整衰减系数，以更好地适应训练过程中的不同阶段。我还在ResNet18模型上进行了简单的实验

基于MINIST的手写数字体识别，通过创建MnistNet类，定义了包含两个卷积层和两个全连接层的深度神经网络。这个网络的设计灵感来自于经典的CNN结构，其中卷积层用于提取图像特征，而全连接层则用于将这些特征映射到最终的类别。通过加载保存的模型权重进行验证，我们成功地对随机选择的五张手写字符图像进行了测试，所有测试样本均被正确分类。这表明我们的模型在实际应用中表现良好。在分析混淆矩阵时，发现对角线上的值比其他地方大，说明模型在训练数据集上表现良好，能够正确地预测大多数样本的类别。手写字符识别模型在设计和实现

最近换新笔记本了，要重新安装软件，以前本来是想要写这个教程的，但当时由于截图不全还要懒得再下载重装，就放弃了，到后面又搁置了，而现在还要重新配置环境，所幸我有机会把这个教程写完整。CUDA（Compute Unified Device Architecture）中文名为统一计算设备架构，是显卡厂商NVDIV推出的运算平台，可以帮助GPU处理图形相关的计算问题。我们可以通过在命令行输入以下命令来查看我们电脑的CUDA版本配置，下面可以看到我的CUDA版本为12.0（若电脑没有独立显卡，则该命令输入无效）。

VGG分类实战：猫狗分类。数据集选择的是Kaggle上的Cat and Dog，猫狗图片数量上达到了上万张。你可以通过这里进入Kaggle下载数据集。在我的Github仓库当中也放了猫狗图片各666张。VGG的主要特点是使用了一系列具有相同尺寸 3x3 大小的卷积核进行多次卷积操作。这种结构的一个优势是可以堆叠更多的卷积层，使得网络能够学习到更复杂的特征。让我们来探究一下在2014年的ImageNet图像分类竞赛中取得显著成绩的VGG模型效果如何。

损失函数，又叫目标函数。在编译神经网络模型必须的两个参数之一。另一个必不可少的就是优化器，我将在后面详解到。这篇博客适合那些希望了解在PyTorch中常见损失函数的读者。通过一个自定义的类FunLoss展示了如何计算不同类型的损失函数，包括L1Loss、SmoothL1Loss、MSELoss、CrossEntropyLoss和NLLLoss。

Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic Regression 因其简单、可并行化、可解释强深受工业界喜爱。Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。Sigmod函数是最常见的logistic函数，因为Sigmod函数的输出的是是对于0~1之间的概率值，当概率大于0.5预测为1，小于0.5预测为0，所以这里会用到它。

介绍：这是一个教育对收入影响的数据，从图像的走势来看，它是具有一个线性关系，即受教育年限越长收入越高，这样我们可以通直线来抽象出它们的关系。接下来，我们将会介绍一些方法，分别是单变量线性回归算法、成本函数与损失函数、梯度下降算法。首先要提到的是单变量线性回归算法，我们有这样一个函数我们使用f(x)这个函数来映射输入特征值和输出值。这个时候问题就转化为了，这条直线需要画在什么地方才合适，或者我们说w和b该取什么样的值呢？