小样本中的episode（Episodic Training）

最新推荐文章于 2025-03-31 19:32:52 发布
最新推荐文章于 2025-03-31 19:32:52 发布
阅读量9.8k 收藏 67
点赞数 21
分类专栏： 论文 文章标签： 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44295084/article/details/120041266
版权

参考文章1.
参考文章2.
小样本学习中，有一种方法叫做Meta-Learning，其训练过程包括：Meta-training 和 Meta-testing。
在Meta-Learning中原始数据要经过特殊的处理，在Meta-training 和 Meta-testing过程中都会用的Support set 和Query set。

先在Testing data中选择几个类，每个类别都包括很多样本，然后从选择的每个类中选出k+x个样本，其中k个样本用作support set，x个样本被用作query set ,这样就得到了 Meta-testing 过程中需要用到的两个数据集。同理，可得到Meta-training 过程中的两个数据集 S 和 Q 。（但是此时可以不和Meta-testing 一样必须要选 N 个类，从每个类中也不必非要选 k 个样本作为 Support set）。
依据上述的数据集划分，进行训练，计算损失，更新参数。这样就是一个episode训练过程。（在 Meta-training 的过程中，Support set + Query set 就是一个 mini-batch。因此，一个 episode 的训练过程实际上就是一个 batch 的训练过程。）

也就是说，一个episode，就是选择几个类，然后对于选择的每个类再选择support set和query set，用选择的某几个类的support set和query set训练一次模型。下一个episode，再选择其他几个类，然后在选择support set和query set训练模型。一个epoch中存在多个eposide。

基于 episode 的训练方法即被称为 Episodic Training

元学习在fewshotlearning中的原理与实现
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
04-05 273
本文系统地介绍了元学习在few-shot learning中的原理与实现。我们首先阐述了元学习和few-shot learning的核心概念及其内在联系,然后深入探讨了MAML和Reptile两种典型的基于梯度的元学习算法。通过代码实例讲解了Reptile算法的具体操作步骤,并分析了其数学形式化。最后我们展望了元学习在医疗诊断、金融风险预测等实际应用场景中的价值,并推荐了一些相关的工具和资源。算法方面,如何设计更加高效、鲁棒的元学习算法是一个持续的研究方向。
神经网络中episode、epoch、iteration、batch_size的理解
深入浅出讲透复杂深奥的问题
07-13 2103
epoch、bath_size、iteration、episode在DNN中的解释： 1、epoch： one forward pass and one backward pass of all the training examples, in the neural network terminology，重点就是所有的训练数据都要跑一遍。假设有6400个样本，在训练过程中，这6400个样本都跑完了才算一个epoch。一般实验需要训练很多个epoch，直到LOSS稳定后才停止。 2、batch_size：
小样本学习(few-shot learning)介绍
Bluebro的博客
04-10 1万+
小样本学习（few-shot learning，FSL）旨在从有限的标记实例（通常只有几个）中学习，并对新的、未见过的实例进行识别。首先，在FSL设置中，通常有三组数据集，包括支持集S、查询集Q和辅助集A。S中的实例类别已知，Q中实例类别未知但一定属于S，S和A的实例类别一定不相交，即S中的类别一定不会出现在A中。 FSL任务通常被设定为 N-way K-shot 的形式，其中N是类别的数量，K是每个类别中标记的样本数量，表示支持集 S有N个类，每个类有K个标记样本。N通常为5。K通常设为1或5
few-shot learning——图神经网络专题
阿文
07-03 7246
papers:Few-Shot Learning with Graph Neural Networks code: https://github.com/vgsatorras/few-shot-gnn Few-shot learning: few-shot的训练集包含很多类别，每个类别有多个样本，在训练阶段...
基于度量的小样本学习
最新发布
2301_78644426的博客
03-31 113
使用分类损失（如交叉熵）或对比损失，迫使同类样本距离更近、异类更远。：选择距离最近的样本类别（1-NN）或多数投票（k-NN）作为预测结果。：从基础类中随机采样若干类别，每个类别选取少量样本（如5个）作为。：通过神经网络 fθ(⋅) 将支持集和查询集映射到同一嵌入空间。：用训练好的 fθ(⋅)提取支持集和查询图像 q 的嵌入特征。：计算查询样本与支持集样本的距离（如欧氏距离、余弦相似度）。：给定新类别的小样本支持集 S={S1,S2,...,SN}：计算 q 与每个支持样本 Si的距离 d(q,Si)
meta learning（李宏毅
linyuxi_loretta的博客
11-13 1170
meta 元meta learning： learn to learn 学习如何学习大部分的时候deep learning就是在调hyperparameter、调hyperparameter真的很烦，决定什么network的架构啊、决定learning rate啊等等、实际上没有什么好方法来调这些hyperparameter、今天业界最常拿来解决调hyperparameter的方法呢就是买很多张gpu了、
few shot learning-小样本学习入门
winycg的博客
04-22 1万+
基本概念 小样本学习（few shot learning，FSL）可以看做每个类别样本数目远远小于类别数目，也就是说每个类别仅仅只有几个样本可供训练。
深度学习batch、batch_size、epoch、iteration以及小样本中episode、support set、query set关系
qq_42740834的博客
10-11 1270
训练整个数据集是epoch、把数据集分为多少小块就是batch，每个小块（batch）多少个数据就是batch_size，整个数据集需要训练多少轮是iteration
小样本学习-入门
qq_41413211的博客
07-15 2182
N代表类别数量，K代表每一类别中样本数量，但是类别数量N和每一类样本数量K分别指的是Baseclass还是Novelclass中的Supportset还是Queryset目前还没有看到一个明确的说明。testing中包含的都是training时没见过的新类（novelclass）training过程的类叫做baseclass。即元学习的实际训练集和测试集是由多个的Task组成的，每个task内部的。domaingap如下图，可能种类是同一种，但是清晰程度，光照不一样。.........
CVPR20 Episode-based Prototype Generating Network for Zero-Shot Learning
一亩高粱
01-03 1011
用小样本的训练方式解决零样本的问题。
【论文阅读】小样本学习相关研究
Glass_Gun的博客
11-11 1103
不可靠的经验风险最小化器是FSL的核心问题。基于先验知识如何处理核心问题，可以将FSL分为三个角度：数据使用先验知识来增强监督经验，模型通过先验知识约束假设空间，算法使用先验知识改变对假设空间中最佳假设参数的搜索。这篇小样本学习综述论文从Data、Model、Algorithm三个方面介绍了现有的小样本学习领域内的方法，以数学的形式具体解释了小样本学习中的困难点。
论文笔记：Few-Shot Segmentation Without Meta-Learning : A Good Transductive Inference Is All You Need
好多鱼
04-17 1751
好久好久没有记录笔记了~感觉还是分享出来的印象更深刻一些 ~让自己多思考一点点 摘要： inference的方式对fsl的分割任务性能有着巨大的影响，而这一点往往被其他论文忽视，转而偏向元学习的范式。 文章提出了transductive 的inference方式，即：对每个query image，统计其unlabeled 像素的信息，通过优化包含三个互补项的新损失 1. intro 目前常见的FSL论文都是基于元学习的范式，这有两个问题： episodic 的训练方式，本身隐含的假设了test task的
基于contrast learning的few-shot learning论文集合（1）
weixin_43994864的博客
05-07 1361
论文一：《Learning a Few-Shot Embedding Model with Contrastive Learning》AAAI 2021 论文链接：https://www.aaai.org/AAAI21Papers/AAAI-2249.LiuC.pdf 代码链接：https://github.com/corwinliu9669/Learning-a-Few-shot-Embedding-Model-with-Contrastive-Learning 本文提出一种新的对比训练方案infoP
深度学习训练中的Epoch, Batch, Episode, Iteration
Frank_BC的博客
09-03 2578
Epoch one epoch = one forward pass and one backward pass of all the training examples, in the neural network terminology. Epoch指把整个训练集的所有数据全部跑一遍 Episode
【论文理解】On Episodes, Prototypical Networks, and Few-shot Learning
lijianyi0219的博客
12-23 3098
内容概览前言一、Episodic learning缺点缺点1：样本采样受限缺点2：忽略了大量“关系”二、Neighbourhood Component Analysis (NCA)方法NCA算法NCA替代episodic的优势三、少样本分类四、实验结果度量分类方式对比训练样本采样方式对结果的影响episode超参数对结果的影响和其他FSL算法对比总结 前言 这是2020年NeurIPS的meta-learning workshop中的一篇oral presentatinon，论文代码被作者放在了githu
深度强化学习中的episode、epoch、batch-size、iteration
热门推荐
L0_L0的博客
03-18 2万+
深度强化学习中的episode、epoch、batch-size、iterationbatch_sizeiterationepochepisode batch_size 即批大小，如果把全部数据放入内存后再加载到显存中，空间显然不够的；如果一个一个数据加载训练并更新模型参数，效率极低。所以考虑一批一批地加载数据，每次送进去的数量就是batch_size，这样可以加快速度。 用minibatch方法时会定义batch_size，即把整个数据集分几份后，每份的大小就是batch-size。假设把10000个样本
小样本学习介绍
weixin_30945039的博客
08-20 1637
基本概念 在大多数时候，你是没有足够的图像来训练深度神经网络的，这时你需要从小样本数据快速学习你的模型。 Few-shot Learning 是 Meta Learning 在监督学习领域的应用。Meta Learning，又称为 learning to learn，在 meta training 阶段将数据集分解为不同的 meta task，去学习类别变化的情况下模型的泛化能力，在 m...
abnormal + few-shot learning
qq_40926715的博客
04-15 665
最近调研小样本，元学习，异常检测： notes here 文章 ECCV20 算是第一篇 元学习和 异常检测的文章，本文就是把MAML结合异常检测 CVPR 21 视频异常检测和元学习。 结合了原型网络和MAML，采用原型+attention来增强表征学习，通过MAML更新梯度 arxiv， 投nips 没中。 采用原型网络来处理one-way classification。 可以类似异常检测。 提出一个null class 作为辅助类来学习 AAAI 21： 和上文都是one-way classif
小样本语义分割评价指标
03-23
<think>好的，我现在需要回答关于小样本语义分割常用评估标准及实现方法的问题。首先，我应该回顾用户提供的引用内容，看看有没有相关的信息。 根据引用[1]，提到了交并比（IoU）的定义，这是语义分割中常用的评价指标，计算的是预测和真实区域的重叠度。引用[2]提到混淆矩阵在语义分割中的应用，以及精度评定的公式。这可能涉及到准确率、精确率等指标。引用[5]指出评估模型预测效果的指标对优化模型很重要，这进一步确认了IoU和混淆矩阵相关指标的重要性。 小样本语义分割通常是在数据量较少的情况下进行训练和评估，所以评估标准可能和传统语义分割有所不同，但可能仍基于IoU这类指标，只是需要调整计算方法或者考虑小样本的特性。比如，可能会计算不同类别或不同任务的平均IoU，或者使用均值IoU（mIoU）作为综合指标。此外，可能需要考虑模型在未见过的类别上的表现，即跨类别的泛化能力，这时候可能会使用多次采样的平均结果。 实现方法方面，可能需要通过混淆矩阵计算各个类别的IoU，然后取平均。代码部分可以参考引用[2]中的Python实现混淆矩阵的方法，可能涉及统计真正例、假正例、假负例的数量，然后应用IoU公式。此外，小样本学习中可能采用多次训练-测试循环，取平均值来保证结果的稳定性。 还需要注意，小样本任务可能使用特定的数据集划分，如支持集和查询集，评估时在查询集上计算指标。例如，每个任务包含少量支持样本和若干查询样本，模型基于支持样本进行训练，然后在查询样本上测试，计算平均IoU。 综上所述，小样本语义分割的评估标准可能包括平均IoU、类别平均准确率等，实现方法涉及混淆矩阵的统计和多次采样的平均计算。</think>小样本语义分割的评估标准主要聚焦于模型在有限标注数据下的泛化能力和分割精度，以下是常用评估指标及实现方法： --- ### 一、常用评估标准 1. **平均交并比（Mean Intersection-over-Union, mIoU）** 计算所有类别的IoU平均值。对于小样本任务，通常按任务（episode）采样多次后取平均： $$ \text{mIoU} = \frac{1}{C} \sum_{c=1}^{C} \frac{TP_c}{TP_c + FP_c + FN_c} $$ 其中$TP_c$为真正例，$FP_c$为假正例，$FN_c$为假负例，$C$为类别数[^1][^5]。 2. **类别平均准确率（Class-Average Accuracy）** 对每个类别单独计算像素级准确率后取平均，避免类别不平衡问题： $$ \text{Acc} = \frac{1}{C} \sum_{c=1}^{C} \frac{TP_c + TN_c}{TP_c + TN_c + FP_c + FN_c} $$ 该指标在少样本场景下更关注稀有类别的表现[^2]。 3. **任务级平均结果（Episode-Averaged Results）** 在小样本学习中，通过多次采样不同的支持集-查询集任务，计算指标的平均值以评估模型稳定性。例如，采样1000个任务后计算平均mIoU[^4]。 --- ### 二、实现方法 1. **混淆矩阵统计** 基于预测结果和真实标签构建混淆矩阵，统计每个类别的$TP$、$FP$、$FN$，再计算IoU或准确率。 **Python示例代码：** ```python def compute_iou(confusion_matrix): iou_per_class = {} for i in range(confusion_matrix.shape[0]): tp = confusion_matrix[i, i] fp = confusion_matrix[:, i].sum() - tp fn = confusion_matrix[i, :].sum() - tp iou = tp / (tp + fp + fn + 1e-8) # 避免除以零 iou_per_class[i] = iou return np.mean(list(iou_per_class.values())) ``` 2. **跨类别泛化评估** 在数据集（如ADE20K[^4]）中划分基类（base classes）和新类（novel classes），训练时仅使用基类数据，测试时评估新类的分割效果，反映模型的小样本学习能力。 3. **多次采样平均法** 对小样本任务进行多次随机采样支持集和查询集，计算平均指标以降低随机性影响。例如，每个任务采样5张支持图像和100张查询图像，重复100次后取mIoU均值。 --- ### 三、注意事项 - **数据划分**：需严格分离训练集和测试集的类别，确保测试时评估的是未见过的类别[^4]。 - **计算效率**：小样本任务通常需要快速推理，指标计算应避免复杂运算[^5]。 - **可视化验证**：结合预测结果的可视化（如分割掩膜叠加原图），直观判断分割边界准确性[^3]。 ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值