欠拟合和过拟合+交叉检验+减轻过拟合（dropout+regularization泛化+数据增强+early stopping）+动量和学习率衰减+卷积原理+常见卷积神经网络

最新推荐文章于 2024-03-11 11:10:06 发布
最新推荐文章于 2024-03-11 11:10:06 发布
阅读量1.3k 收藏 6
点赞数 1
文章标签： 卷积 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51589123/article/details/117656794
版权

一、欠拟合和过拟合

1、欠拟合：使用模型的复杂度小于真实模型的复杂度

在这里插入图片描述

体现在：训练集的loss和准确率都不够理想；测试集的loss和准确率也不理想。

2、过拟合：使用模型的复杂度大于真实模型的复杂度

在这里插入图片描述
体现在：train训练的时候loss和准确率都表现得非常好，但是在测试集上变现得特别不好——泛化能力较差（Generalization Performance）
现实生活中，更多的情况是overfitting。数据集有限，包含了噪声会被模型学习到。
下图分别展示了欠拟合，恰好拟合和过拟合的情况
在这里插入图片描述

3、怎样检测过拟合？K-flod cross-validation

交叉检验第一次切分的train set 和 val set可以重新整合之后再次随机切分，长时间来说，每个数据都有可能参与到训练中，防止了模型死记硬背，还能充分利用现有的数据集，这样增加了训练的准确性。

通过测试集中的准确率来检测学习情况，提前终止overfitting的情况，我们往往会选取准确率达到最大值的参数为模型的最佳参数值，用来提供给客户做预测检验
在这里插入图片描述
上述是我们教学过程中的实验，只有两个数据集，traning和test（这里的test也是val set），但是在实际应用中，我们通常有三个数据集，train set用来学习，val set用来挑选最佳参数和模型，最后由用户的test set来进行检验
在这里插入图片描述
通过randomsplit将训练接进行切割，切割成真正的训练集和val set
通过randomsplit将训练接进行切割
最终交付给test set之后是不能反馈准确率的，否则在此基础上再次挑选参数和模型，这个test set的作用和val set就一样了——数据污染，某种程度上讲，是一种作弊。

4、如何减轻过拟合？

Occam’s Razor：
more thing should not be uesd than are necessary 任何不必要的都不需要

（1）提供更多的数据——这是代价做大、也是最困难的方法；

（2）简化模型

shallow模型不需要用太复杂的，尤其是当数据集有限的时候。shallow是一个相对的概念，跟数据集大小和网络的复杂度有关。

（3）Dropout——增加鲁棒性

Dropout——防止过拟合的一种方法

减少了隐藏层之间的神经元的连接量，Learning less to learn more，会使得曲线较为平缓且泛化
在这里插入图片描述
在这里插入图片描述
需要特别说明的是

在torch里面，p代表的是断掉的概率，在tensorflow里面p代表的是保持连接的概率。
在这里插入图片描述
此外，我们约定了在test中，需要全部连接神经，需要手动切断dropout

关键的一句是：net_dropeed.eval( )
在这里插入图片描述
Stochastic Gradient Descent并不是完全随机的，而是符合某一个分布的

从train set里面抽取出来一个batch比如16、32、64、128等，计算其所有在某个x上的梯度求和再平均得到梯度值。优点：节约显存
在这里插入图片描述

（4）Data argumentation——数据增强

神经网络对数据的要求非常饥渴，需要贴有标签的大量数据

当数据量有限的时候：1、要减少神经网络的隐藏层；2、Regularization，迫使一部分权值接近于0，让网络的表现更加稳定；3、数据增强，目前的数据量较少，想办法对数据进行变换——旋转、裁剪加噪声等

Flip——翻转

可以从水平方向和竖直方向进行翻转，这里增加了random属性，代表翻转是具有随机性的，有可能进行水平翻转，也有可能不翻转，有可能垂直翻转，也有可能不翻转
在这里插入图片描述
Rotate——旋转
在这里插入图片描述
Scale——缩放

以中心点为标准进行缩放Resize，传入的是list
在这里插入图片描述
Crop Part

随机得进行裁剪

transform是torchvision里面自带的包， transform.Compose（）可以把一系列翻转、旋转、裁剪和缩放操作组合在一起
在这里插入图片描述
Noise——加噪声，用的不多

即使得到了无穷多的数据，由于进行变换后的数据和原本的数据非常接近，所以训练的结果仅仅能得到一个很小的提升

（5）Early Stopping——提前终结

在这里插入图片描述
我们要在过拟合之前停止

1、设置val set

2、监听在各个参数值下的val set的表现

3、在val 表现最好的时候停止——一定程度上需要有经验

（6）regularization——泛化

我们一开始的目标是最小化交叉熵，下面是目标函数：
在这里插入图片描述
但经过训练之后，为了增强模型的表达能力，很可能出现一个7次方的函数式

接下来我们增加一个参数范式，这里的参数有w1,b1,w2,b2等等
在这里插入图片描述
可以是一范数，可以是二范数。

优势1：当我们的总目标是尽可能小化J（Q）时，一范式参数值也会尽可能得小，总体来说会使我们的模型更加平缓和稳定，更加具有总体数据代表性。

优势2：会简化模型，有可能将高次方模型转变为低次方模型，同时还能保持模型的表达性

常用的两种regularization
在这里插入图片描述
pytorch有自带的L2-regularization
在这里插入图片描述
这个wieght_decay是二范数的参数值，传入这个参数就可以以二范数进行泛化了

L1_regularization

现阶段没有参数一范数的现成代码，需要自己敲
在这里插入图片描述

二、动量和学习率衰减

1、动量——惯性

在这里插入图片描述

动量是考虑了之前的运动方向的变量

不考虑动量的情况下，会在局部极小值点停止
在这里插入图片描述
考虑动量的情况下，在局部极小值点处仍然会向前走，比较容易找到全局最优解
在这里插入图片描述
优化器中SGD没有考虑动量，可以自己加momentum参数，Adam里面考虑了动量因素，不需要手动加
在这里插入图片描述

2、学习率衰减——迫使学习率逐渐变为0

这这里我们并不能指明最合适的学习率，但我们可以让学习率递减，好处是可以较快得找到更好的解
不同的学习率表现情况
这这里我们并不能指明最合适的学习率，但我们可以让学习率递减，好处是可以较快得找到更好的解
在这里插入图片描述
方法一：使用ReducelROnPlateau()函数，传入optimizer 和min，前者用来识别学习率的值，后者用来监听loss，当在某一个学习率上在一定的步长范围内，loss都没有很明显的变化，我们的函数将会自动调整学习率；
在这里插入图片描述
方法二：直接规定一个确切步长，确定一个变化率
最开始步长为30变化率为0.1，以0.1的比例进行衰减
在这里插入图片描述

三、卷积神经

1、卷积原理：

在这里插入图片描述
神经网络里的卷积是离散数值，是小窗口的矩阵相乘相加操作
在这里插入图片描述
卷积神经网络中f（x，y）里面的x和y分别是距离坐标原点的距离（偏置）

2、概念：

Input_channels输入的通道（黑白图有1个通道，彩图RGB有三个通道）

Kernel_channels有多少个核（边缘核、模糊核都有就是两个核）

Kernel_size核的大小，2x2，或者是3x3

stride：步长

Padding（打补丁）：在两边补空白的数量，2列是2，1行是1

3、 Multi-Kernels

每一个通道上都需要有相同的卷积核，每个通道可以有1个2个甚至更多的卷积核，但是每个通道上的卷积核都必须相同！每个核之间可以不同
在这里插入图片描述

import torch
import torch.nn as nn
import torch.nn.functional as F


x = torch.rand(1, 1, 28, 28)
#输入了一张照片，一个通道，照片大小是28x28
layer = nn.Conv2d(1, 3, kernel_size=3, stride=1, padding=0)
#输入通道有1，卷积核有3个，卷积核的大小是3x3，步长为1，没有打补丁
out = layer(x)
print(out.shape)
#torch.Size([1, 3, 26, 26])
#最终输出的是一张照片，有三个卷积值，因为有三个卷积核，大小为26x26

x = torch.rand(1, 1, 28, 28)
layer = nn.Conv2d(1, 3, kernel_size=3, stride=2, padding=1)
out = layer(x)
print(out.shape)
#torch.Size([1, 3, 14, 14])

print(layer.weight)
'''
tensor([[[[-0.0450, -0.3113,  0.2603],
          [ 0.0272, -0.1302, -0.1772],
          [-0.1471,  0.2183, -0.0578]]],


        [[[-0.0747, -0.3240,  0.2816],
          [ 0.1267, -0.2136,  0.1107],
          [ 0.1754,  0.2550, -0.2917]]],


        [[[ 0.0419, -0.1789,  0.1894],
          [-0.2625,  0.2120, -0.0755],
          [-0.2954, -0.1984,  0.1967]]]], requires_grad=True)
'''

print(layer.weight.shape)
#torch.Size([3, 1, 3, 3])

print(layer.bias.shape)
#torch.Size([3]) bias的数量和卷积核的个数一致


x = torch.randn(1, 3, 28, 28)
w = torch.randn(16, 3, 5, 5)
#卷积核有16个，通道和x输入的通道一致，大小为5x5
b = torch.randn(16)

out = F.conv2d(x, w, b, stride=1, padding=1)
print(out.shape)
#torch.Size([1, 16, 26, 26])

out_1 = F.conv2d(x, w, b, stride=2, padding=2)
print(out_1.shape)
#torch.Size([1, 16, 14, 14])
#卷积核在每个通道上的每一步都会计算一个相乘相加值，此外，对于每一个通道上相同卷积权重得到的值还会相加，所以最终得到的照片有16个通道

4、池化层（pooling）

（1）向下采样：

Max pooling

采集的是窗口内的最大值
在这里插入图片描述
Avg pooling

采集的是窗口数值的均值

#池化层，向下采样
x = torch.randn(1, 16, 28, 28)
layer = nn.MaxPool2d(2, stride=2)
out = layer(x)
print(out.shape)
#torch.Size([1, 16, 14, 14])

out_1 = F.avg_pool2d(x, 2, stride=2)
print(out_1.shape)
#torch.Size([1, 16, 14, 14])

（2）向上取样
取最近距离的值进行简单的复制，增加照片的像素维度

#向上采样
x = torch.randn(1, 16, 7, 7)
out = F.interpolate(x, scale_factor=2, mode='nearest')
print(out.shape)
#torch.Size([1, 16, 14, 14]) 图片放大了两倍

out_1 = F.interpolate(x, scale_factor=3, mode='nearest')
print(out_1.shape)
#torch.Size([1, 16, 21, 21])

x = out
layer = nn.ReLU(inplace=True)
out = layer(x)
print(out.shape)
#torch.Size([1, 16, 14, 14])


out_2 = F.relu(x)
print(out_2.shape)
#torch.Size([1, 16, 14, 14])

5、BatchNorm

将不同维度的值都缩放到一个以0为均值，以某个值为方差的比较均匀的分布上

Feature scaling
在这里插入图片描述
输入R、G、B各通道的均值和方差，normaliazation的具体过程是
在这里插入图片描述
Batch Norm有以下四种，只是以哪个维度为标准的区别
在这里插入图片描述
我们主要学习Batch normalization以通道为基准，计算每个通道上的均值和方差，然后通过减均值除以方法来使这些值均匀得分布在某个范围内
在这里插入图片描述
规范化算法 计算均值和方差、标准化、 缩放
在这里插入图片描述
在测试集上，我们把训练集的runnnig_mean/running_var直接赋值给训练集，test没有backward，所有w和b并不需要更新，不需要梯度更新

#batch normalization
x = torch.rand(100, 16, 784)
#均匀分布
layer = nn.BatchNorm1d(16)
#这里的16是通道的意思
out = layer(x)

print(layer.running_mean)
#print(layer.running_mean)
'''
tensor([0.0503, 0.0500, 0.0502, 0.0500, 0.0499, 0.0500, 0.0500, 0.0498, 0.0500,
        0.0502, 0.0501, 0.0501, 0.0499, 0.0499, 0.0500, 0.0500])
'''
print(layer.running_var)
'''
tensor([0.9083, 0.9084, 0.9084, 0.9083, 0.9083, 0.9083, 0.9083, 0.9083, 0.9083,
        0.9083, 0.9083, 0.9083, 0.9084, 0.9084, 0.9084, 0.9083])
'''

6、现有的卷积神经网络

（1）leNet-5将准确率提升了10%+

在这里插入图片描述

（2）AlexNet使用了下采样层和relu激活函数

在这里插入图片描述

（3）VGG

研究发现卷积核较小的时候不仅可以提高运算量，且对图片表达也没有下降
在这里插入图片描述

（4）GoogLeNet

在每个隐藏层都使用了不同大小的卷积核，从不同的视觉大小更深刻得学习图片
在这里插入图片描述

（5）ResNet

在这里插入图片描述
引入了残差的概念
在这里插入图片描述

import torch
import torch.nn as nn
import torch.nn.functional as F


class ResBlk(nn.Module):
    def __init__(self, ch_in, ch_out):
        self.conv1 = nn.Conv2d(ch_in, ch_out, kernel_size=3, stride=1, padding=1)
        self.bn1 = nn.BatchNorm2d(ch_out)
        self.con2 = nn.Conv2d(ch_out, ch_out, kernel_size=3, stride=1, padding=1)
        self.bn2 = nn.BatchNorm2d(ch_out)

        self.extra = nn.Sequential()
        if ch_out != ch_in:
            self.extra = nn.Sequential(
                nn.Conv2d(ch_in, ch_out, kernel_size=1, stride=1),
                #如果输入维度不等于输出维度，我通过这一步骤来把维调节成相同的
                nn.BatchNorm2d(ch_out)
            )

    def forward(self, x):
        out = F.relu(self.bn1(self.conv1))
        out = self.bn2(self.con2(out))
        out = self.extra(x) + out
        return out

（6）DenseNet

最上面的没有短接的神经网络

第二个是Resnet

最后一个是DenseNet

从图片上可以看出来区别
在这里插入图片描述

四、nn.Module介绍

nn.Module的好处

提供了很多现成的网络层
在这里插入图片描述

1、container——nn.Sequential()

将神经网络内部的结构按照顺序进行编码

net = nn.Sequential()可以直接实现网络前向传播

2、其次，通过net.parameters( )可以返回想要的参数；也可以通过net.parameters( )把参数丢到优化器里

3、modules里面包括了所有的节点；里面包括很多子节点——直系亲属

在这里插入图片描述
整个net有5个节点
在这里插入图片描述

4、save和load

在这里插入图片描述

5、train和test状态切换很方便

在这里插入图片描述

6、implement own layer

由于实际需要定义一个flatten类，我们通过nn.Sequential()来把函数有序排列起来组成我们主要的神经网络结构
在这里插入图片描述

7、通过nn.Parameter( )实现自己的参数定义

在这里插入图片描述

斯外戈的小白
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
过拟合、欠拟合、梯度消失与梯度爆炸-Task3
01-07
1. 过拟合、欠拟合及其解决方案 本节主要讲了3个点，1. 过拟合、欠拟合的概念 2. 权重衰减 3. 丢弃法 其中权重衰减只讲了L2正则化，其实还有L1正则化、L12正则化等。 丢弃法其实就是Dropout，只是翻译成了中文。 Inverted-Dropout Inverted-Dropout是实现 dropout 的方法。假设对第i层进i行 dropout： p = 0.8 di = np.random.rand(ai.shape[0], ai.shape[1]) < p ai = np.multiply(ai, di) ai /= keep_prob 最后一步ai /= p是因为 a[
《动手学深度学习》戴口罩的胡萝卜组 - 户建坤 第一次打卡 (线性, Softmax, 多层感知机, 文本预处理, 语言模型, RNN)
ruclion的专栏
02-14 726
线性回归 知识点 1. 数据集名词 training set sample label feature 2. 均方差损失函数 均值差的平方损失 (a-b)**2 / 2 在 batch 中求平均, 即 sum / len(batch) 为什么单个要除以 2 ? 其实标准的也可以不 / 2 为什么均方差用的这么多? 好处坏处, 别的? 均方差叫 MSE, mean squared error, RM...
根据验证集和训练集的损失值曲线判断是否过拟合
llf000000的博客
03-11 1438
过拟合是指模型对训练数据学得太好，以至于它对未见过的数据（如验证集和测试集中的数据）泛化能力差。此外，如果模型在验证集上的表现不佳，可以考虑使用更简单的模型或者减少模型复杂度。模型的复杂度与过拟合之间有直接的关系：通常模型越复杂，过拟合的风险越高。尽管模型在验证集上的表现可能仍在改善，但这种改善的速度远不及在训练集上的速度。为了避免过拟合，可以采取一些措施，如早期停止（即在验证损失开始增加时停止训练），使用正则化技术（如L1、L2正则化），以及采用数据增强等方法来增加训练数据的多样性。
【DeepSpeed 教程】四，DeepSpeed ZeRO++博客和代码解析
I good vegetable a!
07-14 1525
图 1：ZeRO++项目亮点展示。左上子图显示，与ZeRO阶段3相比，ZeRO++将通信量减少了4倍。右上子图显示了ZeRO++在RLHF模型训练上的表现，其中ZeRO++使RLHF训练速度提高了1.3倍，token生成速度提高了2倍。大型AI模型正在改变数字世界。由大型语言模型（LLMs）驱动的生成性语言模型，如Turing-NLG、ChatGPT和GPT-4，具有惊人的多功能性，能够执行摘要、编码和翻译等任务。同样，像DALL·E、Microsoft Designer和Bing Image Creato
深度学习框架 TensorFlow：张量、自动求导机制、tf.keras模块(Model、layers、losses、optimizer、metrics)、多层感知机(即多层全连接神经网络 MLP)
あずにゃん梓喵的博客
08-05 3049
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 安装 TensorFlow2、CUDA10、cuDNN7.6.5 Anaconda3 python 3.7、TensorFlow2、CUDA10、cuDNN7.6.5 TensorFlow 2.0 环境搭建 window下安装 Keras、Tenso...
精通 TensorFlow 2.x 计算机视觉：第三、四部分
龙哥盟
04-18 2692
原文：Mastering Computer Vision with TensorFlow 2.x 协议：CC BY-NC-SA 4.0 译者：飞龙 本文来自【ApacheCN 深度学习 译文集】，采用译后编辑（MTPE）流程来尽可能提升效率。 不要担心自己的形象，只关心如何实现目标。——《原则》，生活原则 2.3.c 第 3 节：使用 TensorFlow 的计算机视觉的高级实现 在本节中，您将基于从上一节中获得的理解，并开发更新的概念并学习用于动作识别和对象检测的新技术。 在本节中，您将学习不同的 T
2.3深度学习正则化
柯影的博客
03-29 3060
2.3.1偏差与方差 2.3.1.1数据集划分 首先我们对机器学习当中涉及到的数据集划分进行一个简单的复习 训练集（trainset）：用训练集对算法或模型进行训练过程； 验证集（developmentset）：利用验证集（又称为简单交叉验证集，hold-outcrossvalidationset）进行交叉验证，选择出最好的模型； 测试集（testset）：最后利用测试集对模型进行测试，...
【深度学习篇】--神经网络中的调优一，超参数调优和Early_Stopping
L先生AI课堂
03-28 7463
一、前述 调优对于模型训练速度，准确率方面至关重要，所以本文对神经网络中的调优做一个总结。 二、神经网络超参数调优 1、适当调整隐藏层数 对于许多问题，你可以开始只用一个隐藏层，就可以获得不错的结果，比如对于复杂的问题我们可以在隐藏层上使用足够多的神经元就行了， 很长一段时间人们满足了就没有去探索深度神经网络， 但是深度神经网络有更高的参数效率，神经元个数可以指数倍减少，并且训练起来也更快...
训练过程--对loss和acc的分析、处理
热门推荐
wydbyxr的博客
12-06 5万+
  计算loss是会把所有loss层的loss相加。 从验证集误差是和测试集误差的角度分析   其实你这个问题就是个伪命题，如果我们刻意的去在训练集上拟合模型，使其准确率达到很高的高度，或者说尽量在验证集合上表现的好，都是相悖的。   因为我们不能为了某一特定数据集来刻意拟合，因为模型预测数据是不一定就在这个训练或者验证集合的空间中。   还有，如果这个model预测集合acc20% 训练集合a...
学习曲线——判断欠拟合还是过拟合
追梦程序员的博客
07-06 3万+
在机器学习领域，模型的欠拟合问题和过拟合问题一直都是我们关注的重点，正确的诊断出你的模型属于哪一类问题对改善模型至关重要。所谓欠拟合一般是指模型没有很好的抓住数据的特征，没有对数据进行很好的拟合，使得偏差较大。这时一般要通过增加特征项或者减少正则化参数来改进模型。而过拟合一般是由于模型使用了太多的特征引起的，使得模型将部分数据的“特性”也学习到了，导致模型的泛化能力较弱。这时一般要通过删减特征项或...
《动手学深度学习Pytorch版》Task3-过拟合、欠拟合及其解决方案；梯度消失、梯度爆炸
01-06
过拟合、欠拟合 训练/泛化误差 训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常...
pytorch学习（十）——过拟合相关问题及解决方案
11-10
上传时间：2020/11/10 最后测试：2020/11/10 内容：pytroch解决过拟合相关问题及解决方案 其他：pytorch学习练习代码 相关介绍：https://blog.csdn.net/jerry_liufeng/article/details/109608811
Pytorch——梯度下降的变化，数据预处理，权重初始化，防止过拟合
01-06
文章目录梯度下降的变化1. SGD随机梯度下降2. Momentum3. Adagrad4. RMSprop5. Adam数据预处理1. 中心化2. 标准化3. PCA主成分分析4. 白噪声权重初始化1.... 批标准化（Batch Noemalization）防止过拟合...自适应学习率（a
基于lattice ECP3 FPGA LFE3-17EA-328+ADV7611+CYUSB3014开发板硬件(原理图PCB）
最新发布
04-28
基于lattice ECP3 FPGA LFE3-17EA-328+ADV7611+CYUSB3014开发板硬件（原理图+PCB）工程文件，硬件采用8层板设计，大小为100*70mm，包括ALTIUM设计的完整原理图PCB文件，可做为你的学习设计参考。 主要器件： LFE3-17...
深度学习：Dropout解决过拟合问题
Vermont_的博客
09-16 5149
在学习深度学习时，常常有人会问到这样一个问题：Dropout技术为什么能防止过拟合？ 当然，简单的回答是：防止参数过分依赖训练数据，增加参数对数据集的泛化能力。 是什么？ 假设我们要训练这样一个神经网络 输入是x输出是y，正常的流程是：我们首先把x通过网络前向传播然后后把误差反向传播以决定 如何更新参数让网络进行学习。使用dropout之后过程变成： 1. 首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变（下图中虚线为部分临时被删除的神经元） 2. 然后把输入.
tensorflow实战（五）——过拟合调参(2)及学习率动态调整
一位安分的码农的博客
03-23 3625
我们通过采取动态调整学习率的策略，缓解过拟合问题。 随着训练轮数的增加，学习率逐渐下降会使模型拟合的更好 在这里，我们设定网络结构为： model = tf.keras.Sequential([ # 0-255共256个，故第一个参数为256，数据为三位数，故第三个参数为3 Embedding(256, 3), LSTM(3, return_sequences=True), Dropout(0.2), LSTM(5), Dropout(0.2), De
Tensorflow(6):过拟合，正则化，CNN，池化，CIFAR100实战，BatchNorm，ResNet实战
JJJJJJames的博客
01-29 963
1、过拟合与欠拟合 当polynomial feature 的高次项越来越大时，模型预测可以在训练集上有好的结果，但在测试集上表现很差。 欠拟合 模型的复杂度小于真实数据的复杂度，叫欠拟合 训练集表现很差 测试集表现也很差 过拟合 模型的复杂度大于真实数据的复杂度，叫过拟合 训练集表现很好 测试集表现很差 泛化能力变差 general performance 2、交叉验证 划分train set和test set 做测试的目的是为了选择模型的参数，避免过拟合，叫做validation。 每一
resnet过拟合_可逆ResNet：极致的暴力美学
weixin_39888080的博客
12-03 337
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm今天我们来介绍一个非常“暴力”的模型：可逆 ResNet。为什么一个模型可以可以用“暴力”来形容呢？当然是因为它确实非常暴力：它综合了很多数学技巧，活生生地（在一定约束下）把常规的 ResNet 模型搞成了可逆的！▲ 标准ResNet与可逆ResNet对比图。可逆ResNet允许信息无损可逆流动，而标准R...
怎么解决CK+过拟合的问题
06-08
CK+数据集包含的样本数量较少，可能会导致模型过拟合。为了解决CK+数据集的过拟合问题，可以考虑以下几个方面： 1. 数据增强：通过对训练数据进行随机裁剪、翻转、旋转等操作，可以增加数据的多样性，从而增强模型的泛化能力。 2. Dropout正则化：在训练过程中，随机将一部分神经元的输出置为0，可以强制模型学习到更加鲁棒的特征，从而减少过拟合现象。 3. 权重衰减：通过对模型的权重进行惩罚，降低模型的复杂度，从而减少过拟合现象。 4. 早停策略：在训练过程中，可以设置一个验证集，当模型在验证集上的性能不再提升时，停止训练，从而避免过拟合现象。 5. 模型压缩：通过对模型进行剪枝、量化等操作，减少模型的参数数量，从而降低模型的复杂度，提高泛化能力，避免过拟合现象。 这些方法可以单独或联合使用，根据具体情况进行选择和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值