机器学习之过拟合和欠拟合

于 2023-12-18 22:13:38 发布
阅读量914 收藏 21
点赞数 21
分类专栏： 机器学习 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lijunhcn/article/details/135072905
版权
本文讨论了过拟合在机器学习中的挑战，介绍了优化与泛化的张力，以及通过减少网络大小、增加正则化（如L1和L2正则化）、使用dropout等方法来防止过拟合。作者通过实例演示了如何在Keras中应用这些策略以提升模型性能。
摘要由CSDN通过智能技术生成

文章代码来源：《deep learning on keras》，非常好的一本书，大家如果英语好，推荐直接阅读该书，如果时间不够，可以看看此系列文章。

在之前的例子中，我们注意到我们模型的表现都会在极少的训练批次后达到峰值，此后开始下降，即我们的模型会很快过拟合到训练数据。过拟合发生在每一个单独的机器学习问题中。学会如何解决过拟合问题对于掌控机器学习尤为重要。

在机器学习中最基础的主题就是优化和泛化的张力。“优化”代表着通过调整模型来在训练数据上表现最好，“泛化”则代表模型在未见过的数据上的表现。这场游戏的目标就是取得好的泛化，当然，你控制不了泛化，你只能基于训练数据调节模型。

在训练的一开始，优化和泛化是相关的：你在训练数据中的损失越低，你在测试函数中的损失也就越低。当这种情况发生时，你的模型就叫做欠拟合：这里还有可进步的空间；网络还没有将训练数据中的相关的数据建模完全。但是在训练数据进行相当次数的迭代以后，泛化就停止上升了，验证指标就停滞并开始下降：模型开始过拟合，比如说，它可能会开始学习一些对于训练数据很特别的特征，但是对于新来的数据可能完全不相关。

为了防止模型被训练数据中不相关的特征误导，最好地方法当然是弄更多的训练数据。一个模型用更多的数据去喂理所当然会有更好的泛化性。当增加数据行不通的时候，最好地方法是调节你模型存储的信息

了解本专栏 订阅专栏 解锁全文 超级会员免费看
机器学习之过拟合和欠拟合（二）
JustinMars的博客
01-10 203
过拟合：减少模型复杂度，正则化，增加数据量，使用早停。 欠拟合：提高模型复杂度，优化特征，增加训练时间，调整超参数。
过拟合解决办法（代码）--python深度学习
weixin_46726459的博客
06-04 660
防止过拟合的最简单的方法就是减小模型大小，即减少模型中可学习参数的个数（这由层数和每层的单元个数决定）。在深度学习中，模型中可学习参数的个数通常被称为模型的容量（capacity）。这里的简单模型（simple model）是指参数值分布的熵更小的模型（或参数更少的模型）。（weight regularization），其实现方法是向网络损失函数中添加与较大权重值相关的成本（cost）。神经网络的 L2 正则化也叫权重衰减（weight decay），权重衰减与 L2 正则化在数学上是完全相同的。
python深度学习笔记（一）
m0_49007020的博客
10-17 113
你的输入数据是什么？你要预测什么？只有拥有可用的训练数据，才能学习预测某件事情。面对的是什么类型的问题？二分类、多分类、标量回归、向量回归问题，还是多分类、多标签问题？或者其他问题，比如聚类、生成或强化学习？确定问题类型有助于选择模型架构、损失函数。
听它爹说他孩儿：Keras 学习笔记 5.2
lawme的专栏
05-25 584
过度拟合与欠缺拟合克服过度拟合的过程叫做正则化。让我们仔细看看最普通的正则化技术，以及它们的实际应用：本笔记 4.3 电影评论分类的改进。减小网络尺寸防止过度拟合最简单的办法是减小网络尺寸，即减少模型可学习参数的数目。决定模型参数数目的，是层的数目和每层单元的数目。模型的参数越多，存储容量越大，表示训练样本及其目标影射关系的词典性能越好。例如，具有 500,000 二值参数的模型，可以轻松学会 M...
深度学习tips（7）正则化regularization
weixin_51263595的博客
03-22 463
正则化
《Python深度学习》读书笔记：第4章 机器学习基础
weixin_44850744的博客
02-15 1517
目录 第4章 机器学习基础 4.1 机器学习的四个分支 4.1.1 监督学习 4.1.2 无监督学习 4.1.3 自监督学习 4.1.4 强化学习 4.2 评估机器学习模型 4.2.1 训练集、验证集和测试集 4.2.2 评估模型的注意事项 4.3 数据预处理、特征工程和特征学习 4.3.1 神经网络的数据预处理 4.3.2 特征工程 4.4 过拟合与欠拟合 4.4.1 减小网络大小 4.4.2 添加权重正则化 4.4.3 添加dropout正则化 4.5 机器学习的通用工
机器学习过拟合与欠拟合！
Datawhale
10-08 1925
↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：胡联粤、张桐，Datawhale面经小组Q1如何理解高方差与低偏差?模型的预...
机器学习之过拟合与欠拟合
qq_35240204的博客
07-07 4752
1 机器学习中的误差 一般地，将学习器(机器学习模型)的实际预测输出与样本的真实输出之间的差异称为“误差”(error)。 统计学习的目的是使学到的模型不仅对已知数据而且对未知数据都能有很好的预测能力。不同的学习方法会给出不同的模型。当损失函数给定时，基于损失函数的模型的训练误差（training error）和模型的测试误差（test error）就自然成为学习方法评估的标准。注意，统计学习方法具体采用的损失函数未必是评估时使用的损失函数。当然，让两者一致是比较理想的。 ......
Deep Learning with Python 系列笔记（二）：深度学习基础
hanzy88的博客
09-28 674
机器学习基础 评估一个模型通常可以归结为将可用的数据分成三组:训练、验证和测试集。一旦模型准备就绪，将在测试数据上进行最后一次测试。 Hold-out validation num_validation_samples = 10000 # Shuffling the data is usually appropriate np.random.shuffle(data) # ...
python-numpy.random.randint()
qq_17753903的博客
10-03 734
numpy.random.randint numpy.random.randint(low, high=None, size=None, dtype='l') Return random integers from low (inclusive) to high (exclusive). Return random integers from the “discrete uniform” d...
浅谈深度学习过拟合和解决办法
白夜
06-17 1767
什么是过拟合 所谓过拟合（over-fitting）其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。 举个例子： 现在我训练一个模型来识别狗狗，训练的数据恰好全是二哈的图片，结果多次迭代后把二哈的全部特点都识别成狗狗特有的了（比如二哈的颜色、和爱拆家的特点等）。这样如果我去识别一只金毛的时候则无法识别。这就是过拟合。 简单的一句话就是机器模型学到了太多不该学到的特点。 过拟合的原因 使用的模型比较复杂 有噪声存在 数据量有限 过拟合
Keras学习教程五
qq_40716944的博客
06-14 493
原文地址：https://github.com/fchollet/deep-learning-with-python-notebooks/blob/master/4.4-overfitting-and-underfitting.ipynbOverfitting and underfitting    在前面章节中看到的所有例子中 - 电影评论情绪预测，主题分类和房价回归 - 我们都可以注意到，我们...
神经网络机器学习_通用工作流程
wj1298250240的博客
02-01 468
神经网络机器学习_通用工作流程 参考： https://blog.csdn.net/dili8870/article/details/101506568 【1】定义问题、收集数据集 处理多分类问题的标签有两种方法 通过分类编码对标签进行编码，然后使用categorical_crossentropy损失函数 将标签编码为整数，然后使用sparse_categorical_crossentropy损失...
Python深度学习篇四《机器学习基础》
「 虚幻私塾」
12-09 1254
前言 前期回顾：Python深度学习篇三《神经网络入门》 上面这篇里面写了关于向量数据最常见的机器学习任务。 好，接下来切入正题。 本章包括以下内容： 除分类和回归之外的机器学习形式 评估机器学习模型的规范流程 为深度学习准备数据 特征工程 解决过拟合 处理机器学习问题的通用工作流程 学完第 3 章的三个实例，你应该已经知道如何用神经网络解决分类问题和回归问题，而且 也看到了机器学习的核心难题：过拟合。本章会将你对这些问题的直觉固化为解决深度学习问 题的可靠的概念框架。我们将把所有这些概念——模型评估、
14.机器学习基础：过拟合与欠拟合
qq_48981632的博客
08-04 226
机器学习的基础，过拟合与欠拟合，简单讲述了如何避免过拟合
Numpy之random.randint产生随机整数
热门推荐
分享人工智能学习心得与实践经验，探讨应用场景，见证变革与进步
11-18 11万+
本文主要讲述了如何使用Numpy的random.randint来产生随机整数，我们演示了如何生成不同上限或下限的指定大小的数组
Numpy中 np.random.randint()详解
weixin_46408751的博客
07-13 1万+
PS：提前说明一下，random.randint（a,b）这个函数在Numpy中与python语言中还是有一些区别的 Numpy中是取 [a，b) ,右边为开区间 而python中是取 [a,b] ，右边为闭区间
keras搭建深度学习模型的一些小tips
dili8870的博客
11-13 262
定义模型两种方法： 1.sequential 类仅用于层的线性堆叠，这是目前最常用的网络架构 2.函数式API，用于层组成的有向无环图，让你可以构建任意形式的架构 1 from keras import models 2 from keras import layers 3 4 model = models.Sequential() 5 mo...
机器学习过拟合和欠拟合
最新发布
12-28
### 机器学习中的过拟合与欠拟合 #### 定义 在机器学习领域，过拟合指的是模型对于训练集的学习过于精细，以至于将特定于训练数据本身的噪声或细节视为一般规律[^2]。这使得模型虽然能够在训练集中获得极高的准确...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

辣椒种子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值