深度学习中的正则化(regularization)

最新推荐文章于 2024-07-29 10:36:01 发布
最新推荐文章于 2024-07-29 10:36:01 发布
阅读量1.1k 收藏 4
点赞数 5
分类专栏： AI 文章标签： 正则化 神经网络 深度学习 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45870904/article/details/114047784
版权

正则化和准备更多数据都是用于解决模型高方差的方法

文章目录

logistic regression中的正则化

在这里插入图片描述

Neural network中的正则化

一般来说，目前我们都是应用L2正则化的

对于矩阵L2范数，我们称之为 Frobenius norm 其值就是矩阵内所有元素的平方和

下 图 中 ω 的 维 度 应 该 是 ( n [ l ] , n [ l − 1 ] ) 下图中\omega的维度应该是(n^{[l]},n^{[l-1]}) 下图中ω的维度应该是(n[l],n[l−1])
在这里插入图片描述

在神经网络中，进行正则化操作又叫做权重衰减(weight decay)，因为其最后落实到梯度下降上面的时候就相当于在原来的基础上参数W多乘了一个小于1的系数再减去反向传播算出的梯度

为什么正则化能够防止过拟合？

从神经网络来看

在这里插入图片描述

直 观 上 ， 我 们 将 正 则 化 参 数 l a m d a 设 置 的 非 常 大 ， 那 么 经 过 梯 度 下 降 后 ， 权 重 w [ l ] 就 会 接 近 于 0 直观上，我们将正则化参数lamda设置的非常大，那么经过梯度下降后，权重w^{[l]}就会接近于0 直观上，我们将正则化参数lamda设置的非常大，那么经过梯度下降后，权重w[l]就会接近于0

这意味着很多隐藏神经元的作用被无限缩小，达到极致时，整个神经网络就变成了一个深一点的logistic regression

从激活函数来看

在这里插入图片描述

权 重 w [ l ] 很 小 就 意 味 着 z 会 很 小 ， 这 里 我 们 选 择 了 t a n h 作 为 激 活 函 数 ， 因 为 z 很 小 ， 那 么 经 过 激 活 函 数 输 出 后 的 值 就 会 处 于 中 间 的 线 性 范 围 内 ， 权重w^{[l]}很小就意味着z会很小，这里我们选择了tanh作为激活函数，因为z很小，那么经过激活函数输出后的值就会处于中间的线性范围内， 权重w[l]很小就意味着z会很小，这里我们选择了tanh作为激活函数，因为z很小，那么经过激活函数输出后的值就会处于中间的线性范围内，

这 意 味 着 无 论 我 们 有 多 么 复 杂 的 神 经 网 络 ， 最 终 也 只 是 不 断 的 进 行 线 性 计 算 ， 而 没 有 使 用 高 度 非 线 性 的 计 算 来 拟 合 出 复 杂 的 非 线 性 函 数 ， 所 以 我 们 过 拟 合 的 几 率 将 大 大 降 低 这意味着无论我们有多么复杂的神经网络，最终也只是不断的进行线性计算，而没有使用高度非线性的计算来拟合出复杂的非线性函数，所以我们过拟合的几率将大大降低 这意味着无论我们有多么复杂的神经网络，最终也只是不断的进行线性计算，而没有使用高度非线性的计算来拟合出复杂的非线性函数，所以我们过拟合的几率将大大降低

在这里插入图片描述

牢记J的新定义，其多了一个正则化项，如果你忘记了它，可能会导致你的cost function并不会在每一次迭代都单调递减.

dropput正则化(随机失活)

在这里插入图片描述

其基本概念就是设置一些概率，让一些神经元结点随机失活，从而使得整个神经网络更加简化

实现dropout的方法（反向随机失活)

在这里插入图片描述

使用dropout在测试集与在训练集中的不同

在这里插入图片描述

值得注意的是，在测试集进行前向传播计算时，并不需要执行dropout函数，因为这样会使计算变得低效，且会使得不同的神经网络的结果却基本一致，这与训练集不同.

dropout为什么有效？

在这里插入图片描述

dropout的最终目的同样是通过压缩权重矩阵，来防止过拟合，这与L2范数正则化的思想是相同的.

但是，其不同的是，不同的应用方式，dropput也会不同，甚至能更加适用于不同的输入范围.

对于神经网络

keep-prob的值为1，意味着保留所有单元.其可以用来给我们方便记忆那些不需要使用keep-prob的地方设置一个参数

在这里插入图片描述

我们可以对于神经网络的不同层设置不同的keep-prob，例如对于神经元较多（也就是对于过拟合影响较大的层）设置keep-prob的值较小，从而使得keep-prob函数能够发挥更大的作用.

在L2正则化中，也可以通过设置超参数lamda来实现这一点

一般来说，输入层不用dropout或者keep-prob接近于1

dropout的主要应用

始终牢记，dropput是一种正则化方法，如果你的模型并没有发生过拟合或者说你有足够多的训练数据，那么你并没有必要去使用它.

dropout方法常见的应用领域是计算机视觉，因为其往往会有很多像素点需要输入，但又缺少足够多的数据.

dropput的缺点

代价函数J的定义不再明确，因为每次迭代都会随机消除一些节点，从而导致我们失去了一个有效的评估因子去评估梯度下降的性能，所以其使用需要谨慎.

补充：一般droput方法的具体流程：
  1. 首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变（图3中虚线为部分临时被删除的神经元）

在这里插入图片描述

  1. 然后把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数（w，b）

  2. 然后继续重复这一过程：

    1. 恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）

    2. 从隐藏层神经元中随机选择一个一半大小的子集临时删除掉（记得备份被删除神经元的参数）

    3. 对一小批训练样本，先前向传播然后反向传播损失并根据随机梯度下降法更新参数（w，b） （没有被删除的那一部分参数得到更新，删除的神经元参数保持被删除前的结果）。

      重复上述过程

其他正则化方法

数据增强(Data augmentation)

在这里插入图片描述

水平翻转 或者进行裁剪

在这里插入图片描述

Early stopping

在这里插入图片描述

Early stopping 就是提早结束神经网络的训练

在验证集误差开始上升之前停止整个神经网络的训练

一开始随机初始化，一般w会被初始化一个较小的值,因为迭代次数越多，w的值也就是权重就会变得越来越大，我们只需要让它处于一个中间（合适的值）即可.

实际机器学习过程中的正交化

在这里插入图片描述

在实际的机器学习的过程中，我们最好用两套工具去分别针对两个问题(降低代价函数和防止过拟合)

而不是简单的用同一套工具去解决两个问题，这会使得我们的思考变得更加复杂.

一般来说，我会更倾向于使用L2正则化法，但是其缺点就是需要尝试不同的lamda值

这意味着我需要更加强大的算力

不爱写程序的程序猿
关注
专栏目录
【深度学习】正则化（超详解）
风口IT猪的成长录
08-13 2万+
深度学习正则化学习目标1. 偏差与方差1.1 数据集划分1.2 偏差与方差的意义1.3 解决方法2. 正则化(Regularization)2.1 逻辑回归的L1与L2正则化2.2 正则化项的理解2.3 正则化为什么能够防止过拟合2.4 tf.keras正则化API3. Droupout正则化3.1 Inverted droupout3.2 droupout为什么有效总结3.3 DroupoutAPI4. 其它正则化方法4.1 早停止法（Early Stopping）4.2 数据增强5. 总结 学习目标
Functional Regularisation for Continual Learning 连续性学习 正则化方法
追随梦想，实现梦想
03-08 783
DeepMind最新研究解决灾难性遗忘难题
[转]深度学习中的正则化
jinbeibei0606的博客
06-24 1754
摘自实验楼：https://www.shiyanlou.com/courses/820/labs/2939/document部分内容 为了理解正则化在深度学习中的作用，我们以回归问题为例讲解。如图，假设我们现在要根据图中的六个点拟合出数据的分布曲线，用于预测其他x坐标对应的y值，我们使用如下的多项式进行拟合： y=a0+a1*x+a2*x^2+a3*x^3+…假如一开始，只有a0和a1不为0，其
机器学习策略篇：详解正交化（Orthogonalization）
最新发布
bugyinyin的博客
07-29 464
那么这与机器学习有什么关系呢？要弄好一个监督学习系统，通常需要调的系统的旋钮。 确保四件事情，首先，通常必须确保至少系统在训练集上得到的结果不错，所以训练集上的表现必须通过某种评估，达到能接受的程度，对于某些应用，这可能意味着达到人类水平的表现，但这取决于的应用，将在后面更多地谈谈如何与人类水平的表现进行比较。但是，在训练集上表现不错之后，就希望系统也能在开发集上有好的表现，然后希望系统在测试集上也有好的表现。在最后，希望系统在测试集上系统的成本函数在实际使用中表现令人满意，比如说，希望这些猫图片应用的用
Deep Learning - 第七章：深度学习的正则化
Step by step
04-21 5020
前言 机器学习中的核心问题：模型的设计不仅在训练数据上表现好，并且能在新输入上泛化好； 正则化策略：以增大训练误差为代价，来减少测试误差（如果在训练误差上很小，可能出现过拟合的情况）； 最好的拟合模型（最小化泛化误差的意义上）是一个适当正则化的大型模型； 偷懒中。。。
一篇文章详解深度学习正则化方法（L1、L2、Dropout正则化相关概念、定义、数学公式、Python代码实现）
a910247的博客
04-16 2万+
正则化是指在机器学习和统计建模中的一种技术，用于控制模型的复杂度，防止模型在训练数据上过度拟合（overfitting）。当模型过度拟合时，它会学习到训练数据中的噪声和细微变化，导致在新数据上的性能下降。正则化通过在模型的损失函数中引入额外的惩罚项，来对模型的参数进行约束，从而降低模型的复杂度。这个额外的惩罚通常与模型参数的大小或者数量相关，旨在鼓励模型学习简单的规律，而不是过度拟合训练数据。在深度学习中，正则化通常涉及到对网络的权重进行约束，以防止它们变得过大或过复杂。
深度学习:正则化方法
月秀明竹的专栏
08-03 893
文章从自己的QQ（632846506）5年前的日志中移过来的。https://user.qzone.qq.com/632846506/infocenter。         在机器学习中，正则化是非常重要且非常有效的减少泛化误差的技术，特别是在深度学习模型中，由于其模型参数非常多且易产生过拟合。因此研究者也提出很多有效的技术防止过拟合，其中比较常用的技术包括： 参数添加约束，例如L1、
深度学习的正则化 Regularization for Deep Learning
11-04
MIT版深度学习第6章 深度学习的正则化 。 正则化的定义为旨在减少学习算法的泛化误差而不是训练误差的修改，训练神经网络中，常常会出现过拟合的问题
什么是 L1 L2 正规化 正则化 Regularization (深度学习 deep learning)
08-30
什么是_L1_L2_正规化_正则化_Regularization_(深度学习_deep_learning)
正则化Regularization
07-22
正则化（Regularization）是机器学习中一个关键的概念，主要用来解决过拟合问题，以提高模型在未知数据上的泛化能力。过拟合是指模型在训练数据上表现良好，但在新数据上的表现较差的现象。正则化通过在损失函数中...
深度学习中正则化的理解
laexl123的博客
01-29 2660
问题背景 深度学习中可能存在过拟合问题——高方差。这种情况有两个解决方法，一个是正则化，另一个是准备更多的数据，考虑到获取更多数据的成本较高，且某些情况下无法获取更多数据，因此正则化通常有助于避免过拟合或减少网络误差。 正则化的目的是为了防止过拟合，进而增强泛化能力，用“人话”说就是避免利用训练集训练出来的模型过度“迎合”训练集，而导致测试集输入模型后的效果变差。 思路 正则化的英文为Regula...
《deep learning》学习笔记（7）——深度学习中的正则化
10-02 5342
机器学习中的一个核心问题是设计不仅在训练集上误差小，而且在新样本上泛化能力好的算法。许多机器学习算法都需要采取相应的策略来减少测试误差，这些策略被统称为正则化。而神经网络由于其强大的表示能力经常遭遇过拟合，所以需要使用许多不同形式的正则化策略。正则化通过对学习算法的修改，旨在减少泛化误差而不是训练误差。目前有很多正则化策略，有些是向机器学习模型中添加限制参数值的额外约束，有些是向目标函数添加额外项来
Continual Learning/Lifelong Learning/Incremental Learning
Si_ang_的博客
05-08 4380
朴素定义：持续学习就是随着时间的推移，不断地处理现实世界中连续的信息流（这些信息逐渐可用），在学习新知识的同时，还保留甚至整合优化旧知识的能力。精确理解：终身学习系统被定义为能够从连续的信息流中学习的自适应算法，随着时间的推移，这些信息被逐渐可用，并且需要学习的任务数量没有预定义（可以是无限的），重要的是，对新信息的调节应该在没有灾难性遗忘或干扰的情况下发生。通俗理解：一个模型学习随着时间推移不断增加的序列任务。
什么是cost function，什么事regularization？
u011048251的博客
04-13 908
趁着老大出差，在工位上写点以前想的东西。 当我们用传统的统计机器学习方法处理问题时，我们需要定义一个cost function以衡量模型的好坏。但在实际场景中，我们的这个cost function的泛化性能未必好，所以，in the process of data mining，我们一直想做的事情就是如何找到一个更好的cost function。 Regularization这是就出现了，
AI：机器学习的正则化 (Regularization）
HowieXue 薛永浩的博客
01-01 3万+
机器学习之正则化 (Regularization） 1.参数正则化 1.1 L2 Regularization（Ridge Regression，权重衰减） 1.2 L1 Regularization：将噪点相关权重系数设为0（也叫稀疏正则化） 1.3 L1/L2对比： 2. 经验正则化（早停、丢弃Dropout） 为什么要正则化：让模型不要过于依赖样本数据 - 正则化主要思想：降低模型的复杂度 - 正则化主要目的：防止模型过拟合 - 正则化实现思路：最小化损失Loss+ 最小复杂度
2.3深度学习正则化
柯影的博客
03-29 3196
2.3.1偏差与方差 2.3.1.1数据集划分 首先我们对机器学习当中涉及到的数据集划分进行一个简单的复习 训练集（trainset）：用训练集对算法或模型进行训练过程； 验证集（developmentset）：利用验证集（又称为简单交叉验证集，hold-outcrossvalidationset）进行交叉验证，选择出最好的模型； 测试集（testset）：最后利用测试集对模型进行测试，...
机器学习-算法背后的理论与优化(part6)--正则化的优缺点
小山羊的学习日志
11-05 1277
学习笔记，仅供参考，有错必究 正则化的优缺点 前面谈到了大量正则化带来的好处，包括让算法模型尽快收敛稳定、作为特征选择的手段、更好的防止过拟合等。 但是，某些正则化也会带来计算复杂性。以经典的回归正则化中的L1L_1L1​和L2L_2L2​正则化举例，在最优化求解方面，L2L_2L2​具有多次可导的特性，可以使用衍生的共扼梯度(PCG)和衍生的牛顿算法(L-BFGS)。而L1L_1L1​由于二次不可导，就没有那么简单了，通常要使用一些近似的替代算法(Surrogate)来逼近不可导的部分，如CDN算法，O
最优化方法：L1和L2正则化regularization
热门推荐
皮皮blog
08-18 5万+
http://blog.csdn.net/pipisorry/article/details/52108040机器学习和深度学习常用的规则化方法之一：L范数正则化（规格化）。一般来说，监督学习可以看做最小化下面的目标函数）：θ∗=arg⁡minθ1N∑i=1NL(yi,f(xi;θ))+λ 
深度学习逆问题的正则化参数
通过深度神经网络学习正则化参数是一种强大的工具，有望改进逆问题求解的效率和准确性，为未来的研究和应用开辟新的可能性。尽管这种方法带来了巨大的潜力，但还需要进一步的实验验证和理论分析，以确保其在不同场景...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值