qq_42492684的博客

本文将采用CNN实现多云、下雨、晴、日出四种天气状态的识别。较上篇文章，本文为了增加模型的泛化能力，新增了Dropout层并且将最大池化层调整成了平均池化层。Dropout是一种正则化技术，用于通过在训练过程中随机丢弃（即暂时移除）网络中的一些神经元来减少过拟合。Dropout的工作原理随机丢弃：在每次训练迭代中，Dropout以一定的概率（通常是一个超参数，如0.5）随机选择网络中的神经元，并将其暂时从网络中移除。这意味着这些神经元在当前迭代中不会对损失函数的计算和梯度更新产生影响。

本次复习了卷积层和池化层的手动计算过程。

MNIST手写数字数据集来源于是美国国家标准与技术研究所，是著名的公开数据集之一。（下载后需解压）。我们一般会采用这行代码直接调用，这样就比较简单。MNIST手写数字数据集中包含了70000张图片，其中60000张为训练数据，10000为测试数据，70000张图片均是2828，数据集样本如下：如果我们把每一张图片中的像素转换为向量，则得到长度为2828=784的向量。因此我们可以把训练集看成是一个[60000,784]的张量，第一个维度表示图片的索引，第二个维度表示每张图片中的像素点。

total_datadir = '/content/drive/MyDrive/k-data/车牌识别/015_licence_plate'# 关于transforms.Compose的更多介绍可以参考：https://blog.csdn.net/qq_38251616/article/details/124878863transforms.Resize([224, 224]), # 将输入图片resize成统一尺寸。

Backbone骨干网络骨干网络是指用来提取图像特征的网络，它的主要作用是将原始的输入图像转化为多层特征图，以便后续的目标检测任务使用。在Yolov5中，使用的是CSPDarknet53或ResNet骨干网络，这两个网络都是相对轻量级的，能够在保证较高检测精度的同时，尽可能地减少计算量和内存占用。Backbone中的主要结构有Conv模块、C3模块、SPPF模块。

这里接触到了一个新的词：残差。残差网络（Residual Network，ResNet）是一种深度神经网络架构，由微软的研究团队在2015年提出。它的主要贡献在于解决深层网络训练中的梯度消失和梯度爆炸问题，使得网络能够训练出更深层次的模型。梯度消失和梯度爆炸：随着网络层数的增加，梯度会逐渐变小（消失）或变大（爆炸），导致深层网络难以训练。残差块（Residual Block）：残差网络的核心是残差块，它由两个卷积层组成，中间通过一个捷径（shortcut）连接。

更新规则学习率收敛速度和稳定性内存需求超参数AdamAdam结合了两种扩展的梯度下降方法：Momentum（动量）和RMSProp（均方根传播）。它计算梯度的一阶矩估计（即动量）和二阶矩估计（即未中心化的方差），并且对这些估计进行偏差校正，以此来更新参数。对于每个参数，Adam自适应地调整学习率，相对于每个参数的更新频率来对学习率进行缩放。这意味着每个参数都有独立的学习率，这些学习率基于参数的更新历史自动调整。

输入层：接受一个固定大小（通常为224x224像素）的3通道彩色图像作为输入。卷积层（Convolutional Layers）：VGG-16包含13个卷积层，分为多个块，每个块中的卷积层使用相同数量的过滤器。这些块分别是：第1块：2个卷积层，每个层有64个过滤器，大小为3x3，步长为1，使用相同填充。第2块：2个卷积层，每个层有128个过滤器。第3块：3个卷积层，每个层有256个过滤器。第4块：3个卷积层，每个层有512个过滤器。第5块：3个卷积层，每个层有512个过滤器。

1.本次又把卷积层和池化层的手动计算过程重新复习了一遍。2.本次学习到新的知识点是如何动态调整学习率。调整学习率的策略是常见的在训练过程中用到的方法，可以帮助提高模型的性能和收敛速度。通过在训练过程中逐渐减小学习率，可以使模型在训练初期快速学习，在训练后期精细调整，从而提高模型的泛化能力。

本节中学会了卷积层和池化层的手动计算，搞清楚了数据是如何在卷积层和池化层从输入到输出的。

MNIST手写数字数据集来源于是美国国家标准与技术研究所，是著名的公开数据集之一。（下载后需解压）。我们一般会采用这行代码直接调用，这样就比较简单。MNIST手写数字数据集中包含了70000张图片，其中60000张为训练数据，10000为测试数据，70000张图片均是2828，数据集样本如下：如果我们把每一张图片中的像素转换为向量，则得到长度为2828=784的向量。因此我们可以把训练集看成是一个[60000,784]的张量，第一个维度表示图片的索引，第二个维度表示每张图片中的像素点。

调整训练轮数epoch，适当提高epoch可以增加预测准确度；调整超参数，例如修改学习率的大小；修改优化器，例如本例中的SGD优化器可以换成Adam优化器再进行训练。

优化记录：1、修改优化器为Adam后提高了一点准确率：2、修改epoch，准确率提高，达到90%了。