《动手学深度学习》(PyTorch版)要点笔记 - 2 【3.11.1 训练误差和泛化误差】

最新推荐文章于 2022-03-08 15:27:52 发布
最新推荐文章于 2022-03-08 15:27:52 发布
阅读量422 收藏
点赞数
分类专栏： 《动手学深度学习》(PyTorch版)要点笔记 文章标签： 深度学习 机器学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ShakalakaPHD/article/details/108110038
版权

目录

训练误差

训练误差（training error）：模型在训练数据集上表现出的误差

泛化误差

泛化误差（generalization error）：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似

总结

一味地降低训练误差并不意味着泛化误差一定会降低。机器学习模型应关注降低泛化误差。

Hurri_cane
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
《动手学深度学习》PyTorch实现（过拟合、欠拟合及其解决方案）
01-06
笔记整理 代码整理 L2 范数正则化（regularization） %matplotlib inline import torch import torch.nn as nn import numpy as np import sys sys.path.append(/home/kesci/input) import d2lzh1981 as d2l # L2范数正则化 def fit_and_plot_pytorch(wd): # 对权重参数衰减。权重名称一般是以weight结尾 net = nn.Linear(num_inputs, 1) nn.init
深度学习之训练误差和泛化误差
xxcnb的博客
01-22 4204
在学习 深度学习的时候，会有不少的专业词语，有些专业词语中，有时很难分清楚。 在之前的文章中，我们常常提到训练集和验证集，其中训练集用于算法模型的训练和学习、验证集是对训练模型进行评估。在模型验证集上，不能包含训练集的数据。 假设，我们使用ImageNet作为数据集，再从谷歌上搜索类似的同类的图片，有时候效果会很好，有可能是训练误差，而非泛化误差，因为很多ImageNet上的图片，也是谷歌搜索出来的。 训练误差 训练误差是指， 模型在训练数据集上计算得到的误差，即在训练集上训练完毕后在训练集本身上进行预测得
关于第二章深度学习基础中泛化误差分析的具体说明
weixin_40645361的博客
03-21 2万+
深度学习笔记（3）
断言的博客
02-18 953
一、过拟合、欠拟合及其解决方案 二、梯度消失、梯度爆炸、梯度偏移 三、循环神经网络进阶
【Pytorch神经网络理论篇】 09 神经网络模块中的损失函数
小李的研究生学习日记
03-08 6471
1 训练模型的步骤与方法 将样本书记输入到模型中计算出正向的结果 计算模型结果与样本目标数值之间的差值(也称为损失值loss) 根据损失值，使用链式反向求导的方法，依次计算出模型中每个参数/权重的梯度 使用优化器中的策略对模型中的参数进行更新 2 神经网络模块中的损失函数 2.1 损失函数定义 损失函数主要用来计算“输出值”与“输入值”之间的差距，即误差，反向传播中依靠损失函数找到最优的权重。 2.2 L1损失函数/最小绝对值偏差（LAD）/最小绝对值误差（LAE） L1损失函数用于最小
【Cocos2dx-lua 3.11.1】打包lua项目为安卓apk-附件资源
03-02
【Cocos2dx-lua 3.11.1】打包lua项目为安卓apk-附件资源
rabbitmq-delayed-message-exchange 3.11.1
10-25
rabbitmq 延迟队列插件
helm-v3.11.1-windows-amd64.zip
02-20
标题 "helm-v3.11.1-windows-amd64.zip" 暗示了这是一个针对Windows操作系统，基于AMD64架构的Helm工具的版本3.11.1的压缩包。Helm是Kubernetes生态系统中的一个包管理器，用于简化在K8s集群上部署和管理应用程序的...
cmake-3.11.1-win64-x64
05-02
标题"cmake-3.11.1-win64-x64"指的是CMake的3.11.1版本，这是为64位Windows系统设计的。这个版本包含了所有必要的组件，让用户在Windows环境下能够有效地管理和构建项目。 描述中提到，这个CMake版本被用来编译...
sonar-findbugs-plugin-3.11.1.jar
01-13
sonar自定义规则findbugs插件： 版本：3.11.1 对应soanrqube版本：7.6-8.1都可以使用该版本（即从7.6开始的sonar版本到8.1都可以使用该插件）
训练时，训练误差、精度，和验证误差、精度，都保持不变，是个固定值（难受），这是为啥呢？
shuo_in_csdn的博客
07-17 5820
使用 TensorFlow with Keras，按照《Python 深度学习》（《Deep Learning with Python》）文本和序列处理那章，使用一维卷积Conv1D进行IMBD电影评论情感分类，下面是书里的代码： 结果，运行的时候，出现了训练误差和精度、验证误差和精度都保持不变的情况： 从 model 定义（架构）、optimizer的学习率、fit 时传入的超参数设置等进行考虑，逐步地（循环地（皮））排查，最后发现 model 的输出不太对...
【机器学习－西瓜书】二、模型评估：过拟合；自助法；交叉验证法
人工智能技术学习与分享
08-21 1万+
关键词： 错误率（error rate）；精度（accuracy）；经验误差（empirical error）；泛化误差（generalization error）；过拟合（overfitting）;留出法（hold-out）;交叉验证法（cross validation）;自助法（bootstrapping）;训练集（train set）、验证集（valid set）、测试集（test set...
PyTorch绘制训练过程的accuracy和loss曲线
热门推荐
Tequila
08-19 10万+
PyTorch、Caffe绘制训练过程的accuracy和loss曲线 衡量模型的好坏其实最重要的看的就是准确率与损失率，所以将其进行可视化是一个非常重要的一步。这样就可以直观明了的看出模型训练过程中准确率以及损失率的变化。 因为博主一直是在caffe和pytorch进行深度学习研究的，之前查了相关资料发现caffe有相关的绘制方法，但是pytorch并没有找到，所以在这里进行总结。 Caf...
利用pytorch实现平均绝对值误差（MAE）
weixin_44438120的博客
05-10 1万+
1.LOSS functions L1Loss CLASS torch.nn.L1Loss(size_average=None, reduce=None, reduction=‘mean’) 创建一个标准来度量输入x和目标y中的每个元素之间的平均绝对误差(MAE)。 l(x,y)=L={l1,...,lN}T,ln=∣xn−yn∣l(x,y)=L=\{l_1,...,l_N\}^T,l_n=|x_n-y_n|l(x,y)=L={l1​,...,lN​}T,ln​=∣xn​−yn​∣ 其中N为batch
pytorch笔记：构建LSTM网络，实现训练验证和测试过程
Leon_winter的博客
07-15 3万+
文章目录LSTMmany to one型many to many型   关于LSTM和RNN，可以看我的blog，这里总结一下如何用pytorch构建LSTM网络。 LSTM many to one型 many to many型
pytorch 中计算精度、回归率、F1 score等指标
link的博客
03-15 3万+
pytorch 中计算精度、回归率、F1 score等指标 pytorch中训练完网络后，需要对学习的结果进行测试。官网上例程用的方法统统都是正确率，使用的是torch.eq()这个函数。 但是为了更精细的评价结果，我们还需要计算其他各个指标。在把官网API翻了一遍之后发现并没有用于计算TP，TN，FP，FN的函数。。。 在动了无数歪脑筋之后，心想pytorch完全支持numpy，那能不能直...
关于训练误差、测试误差、泛化误差
On the road to profession
03-30 2万+
我们在学习模式识别的时候，总是会遇到一些专业词汇，而其中有的专业词汇叫人傻傻分不清。 今天我就来说说训练误差、测试误差、泛化误差到底是什么，区别所在。 对于分类学习算法，我们一般将样本集分为训练集和测试集，其中训练集用于算法模型的学习或训练，而测试集通常用于评估训练好的模型对于数据的预测性能评估。而这个先后顺序就是先将算法在训练集上训练得到一个模型，然后在测试集上评估性能。 这个...
机器学习算法之1：k-NN 算法
The Zen of Data Analysis
09-30 1568
k-NN 算法 k-NN 算法（k-Nearest Neighbor），也叫k 近邻算法。 学会k-NN 算法，只需要三步： 了解k-NN的算法思想 掌握背后的数学原理 代码实现 算法思想:多数表决 k-近邻算法，它的本质是通过距离判断两个样本是否相似，如果距离够近就认为他们足够相似属于同一类别。 当然只对比一个样本是不够的，误差会很大，我们需要找到离其最近的k个样本，并将这些样本称之为「近邻...
pytorch 画loss曲线_Pytorch练习–绘制Loss曲线 - 易采站长站
weixin_39737368的博客
12-20 821
绘制Loss曲线b站课程链接：https://www.bilibili.com/video/BV1Y7411d7Ys?p=2import绘制曲线的库和numpy库import numpy as npimport matplotlib.pyplot as plt # 画图库设置数据x_data = [1.0, 2.0, 3.0]y_data = [2.0, 4.0, 6.0]定义模型def forw...
python-3.11.1-macos11.pkg
最新发布
07-15
总之，"python-3.11.1-macos11.pkg" 提供了一种简便的方式在Mac电脑上安装最新版的Python，为用户提供了一种强大的编程工具，使他们能够开发各种类型的应用程序和项目。 ### 回答3： Python 3.11.1-macos11.pkg是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Hurri_cane

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值