xzrrr的博客

针对倒残差结构最后一个1×1的卷积层，它使用了线性的激活函数而不是relu激活函数。深度可分的卷积操作包括DW（Depthwise）和PW（Pointwise）相比MobileNet v1 网络准确率更高 参数更小。MobileNet v2网络模型结构参数。DW卷积大大减少了运算量和参数数量。卷积核的深度channel=1。1.jpg预测的是向日葵。2.jpg预测的是蒲公英。

能够快速的训练出一个理想的结果当数据集比较小的时候也能训练出理想的效果载入权重后训练所有参数载入权重后只训练最后几层参数载入权重后在原网络基础上再添加一层全连接层，仅训练最后一个全连接层。

简单来说就是，当训练非常深的神经网络时，梯度消失是一个普遍的问题，导致较低层的权重很难更新。VGG网络是一个非常深的卷积神经网络，以VGG16为例，由13个卷积层和3个全连接层组成。执行多个不同尺寸的卷积操作和池化操作，从而充分利用不同大小的感受野（receptive field）来捕捉图像的特征。我的电脑带不动，batch_size=32我改成了batch_size=2，也就运行了一个多小时吧（麻了）使用1×1的卷积网络进行降维，可以在神经网络中减少特征图的维度，提高神经网络的效率和性能。

最早的卷积层（例如卷积核为3x3）的感受野较小，但后续的层会通过池化或步幅更大的卷积来逐渐增加感受野的大小。感受野（receptive field）是指在卷积神经网络（CNN）中的某一层输出特征图上的像素位置所对应的输入图像上的区域大小。当我们说一个神经网络层的感受野大小为N时，可以简单解释为：在该层输出特征图上的一个像素点，它所"看到"的输入图像区域大小是N×N。用的是老师的代码，我的gpu内存不够，我已经将批处理大小（batch size）减少到2了，还是运行不起来。反复记忆：输出的特征矩阵的深度。

举个栗子：当我们在学习一门新的学科时会做一些例题，我们把这些例题完完整整背下来，但是一旦给出新的题目，还是不会做，这就是学习没有泛化能力，只记住了例题的细节而忽视了更普遍的规律。时，模型将被设置为训练模式。模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。假设我们的模型是一个二次多项式，我们的目标是最小化损失函数（均方误差MSE），让预测的曲线与真实值尽可能接近。是一种通过添加额外的约束或惩罚项来控制模型的复杂度的技术，其目的也是防止过拟合。

全连接层由许许多多的神经元连接作用是对输入特征进行组合和转换，引入非线性变换，并且能够学习到输入数据中的复杂关系。