[ 对比学习篇 ] 经典网络模型 —— Contrastive Learning

已于 2024-05-17 15:55:43 修改
阅读量3k 收藏 27
点赞数 6
分类专栏： 经典网络模型 文章标签： 深度学习 对比学习 Contrastive Learning
于 2023-02-20 16:27:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45084253/article/details/129102434
版权
本文详细介绍了多种基于对比学习的神经网络模型，如InstDisc、InvaSpread、CPC、CMC等，探讨了它们的结构、工作原理和效果。这些模型在无监督特征学习中扮演重要角色，利用数据增强和不同的编码策略来提升模型的表现。同时，文章还提到了LeetCode在算法学习中的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


🤵 Author ：Horizon John

✨ 编程技巧篇：各种操作小结

🏆 神经网络篇：经典网络模型

💻 算法篇：再忙也别忘了 LeetCode


[ 对比学习篇 ] 经典网络模型 —— Contrastive Learning



🚀 01. InstDisc


在这里插入图片描述

📜 Paper: Unsupervised Feature Learning via Non-Parametric Instance Discrimination [CVPR 2018]

🖥️ GitHub: lemniscate.pytorch


🎨 结构框图

在这里插入图片描述

Figure 1. The pipeline

🚩 详解

  • 每个图片看成一个类别；
  • 利用 memory bank 来存储图像经神经网络编码后的特征（128维）；
  • 正样本：该图像本身 + 经过数据增强后的图像；
  • 负样本：数据集中其他的图像（从 memory bank 中随机抽取4096个样本）；

超参数设定：

  • temperatureτ = 0.07；
  • NCE with m = 4, 096 to balance performance and computing cost；
  • trained for 200 epochs using SGD with momentum；
  • batch size = 256；
  • learning rate is initialized to 0.03, scaled down with coefficient 0.1 every 40 epochs after the first 120 epochs；

🚩 效果

在这里插入图片描述




🚀 02. InvaSpread


在这里插入图片描述

📜 Paper: Unsupervised Embedding Learning via Invariant and Spreading Instance Feature [CVPR 2019]

🖥️ GitHub: Unsupervised_Embedding_Learning


🎨 结构框图

在这里插入图片描述

Figure 1. The framework

🚩 详解

  • 没有使用额外的数据结构去存储大量的样本信息；
  • 正负样本都来自于同一个 minibatch ；
  • 使用同一个编码器进行端到端的学习；
  • 正样本：该图像本身 + 经过数据增强后的图像（2）；
  • 负样本：其他图像 + 经过数据增强后的图像（(batch size-1) × 2）；
  • 未能取得很好结果原因：batch size 太小导致负样本数量较小；

🚩 效果

在这里插入图片描述




🚀 03. CPC


在这里插入图片描述

📜 Paper: Representation Learning with Contrastive Predictive Coding [None 2018]

🖥️ GitHub: None


🎨 结构框图

在这里插入图片描述

Figure 1. Model overview

🚩 详解

  • 可以应用于音频、图片、强化学习；
  • 将输入当成序列，利用前面的输入通过 RNN 或 LSTM 等网络输出来进行预测；
  • 正样本：预测结果；
  • 负样本：随机样本通过 genc 得到的结果；

🚩 效果

在这里插入图片描述




🚀 04. CMC


在这里插入图片描述

📜 Paper: Contrastive Multiview Coding [ECCV 2020]

🖥️ GitHub: CMC


🎨 结构框图

在这里插入图片描述

Figure 1. Model overview

🚩 详解

  • 增大不同视角之间的互信息（视觉、听觉、触觉）；
  • 数据集：NYU RGBD，包含原始图像、深度信息、SwAV ace normal、分割图像；
  • 正样本：同一图像的不同视角；
  • 负样本：其他图像；
  • 缺点：不同视角下使用的编码器不一样，计算成本过高；

  • 作者后来又提出了 不同网络 得到的特征也应该尽可能相似；
  • 利用蒸馏网络（teacher net & student net）；



🚀 05. MoCov1


在这里插入图片描述

📜 Paper: Momentum Contrast for Unsupervised Visual Representation Learning [CVPR 2020]

🖥️ GitHub: moco


🎨 结构框图

在这里插入图片描述

Figure 1. Model overview

在这里插入图片描述

Figure 2. Conceptual comparison of three contrastive loss mechanisms

🚩 详解

  • InstDisc 的改进；
  • 提出了 队列（queue） 来解决 memory bank 中的大字典的问题；
  • 提出了 动量编码器 来解决 字典中特征不一致的问题；
  • 利用 动态字典 对 队列中的特征进行存储，每一次更新得到的 k 都会取代最开始的 k 值；
  • 动量编码器：yt = m·yt-1 + (1-m)·xt 使输出不完全依赖于当前的输入，还会收到上一个输出的影响，0 ≤ m ≤ 1 ，实现缓慢的更新每一次新的到的 k 值，使字典中的特征尽可能的保持一致；
  • 正负样本都位于 队列当中，确保正负样本都是由同一个编码器提取得到的；

🚩 效果

在这里插入图片描述




🚀 06. SimCLRv1


在这里插入图片描述

📜 Paper: A Simple Framework for Contrastive Learning of Visual Representations [ICML 2020]

🖥️ GitHub: simclr


🎨 结构框图

在这里插入图片描述

Figure 1. The framework

🚩 详解

  • 增大数据增强的数量；
  • 编码后的特征再经过一个 g(·) 函数（MLP层） 再求 loss 值，实现更好的训练 特征编码器；
  • 设置了更大的 batchsize；
  • 训练时间更久；

🚩 效果

在这里插入图片描述

在这里插入图片描述

数据增强策略及效果

在这里插入图片描述




🚀 07. Mocov2


在这里插入图片描述

📜 Paper: Improved Baselines with Momentum Contrastive Learning [None 2020]

🖥️ GitHub: None


🎨 结构框图

在这里插入图片描述

Figure 1. A batching perspective of two optimization mechanisms for contrastive learning

🚩 详解

  • 借鉴 SimCLRv1 的策略，添加了MLP层，使用了数据增强，训练时使用 cos learning rate schedule，训练更多epochs；

🚩 效果

在这里插入图片描述




🚀 08. SimCLRv2


在这里插入图片描述

📜 Paper: Big Self-Supervised Models are Strong Semi-Supervised Learners [NeurIPS 2020]

🖥️ GitHub: simclr


🎨 结构框图

在这里插入图片描述

Figure 1. The framework

🚩 详解

  • 使用更大的骨干网络模型；
  • 增加 MLP层，实验测试两层最佳；
  • 使用动量编码器，参考 MoCo；

🚩 效果

在这里插入图片描述




🚀 09. SWaV


在这里插入图片描述

📜 Paper: Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [NeurIPS 2020]

🖥️ GitHub: swav


🎨 结构框图

在这里插入图片描述

Figure 1. Model overview

🚩 详解

  • 生成多个视角，利用一个视角得到的特征去预测另一个视角的特征；
  • 与聚类工作相结合，利用 聚类中心（3000个） 进行预测；
  • cz1 预测 Q2， cz2 预测 Q1，c 为聚类中心，z1 和 z2 为提取的特征编码；
  • 采用聚类中心：可以降低采样的负样本数量从而减少计算成本，解决正样本也纳入到负样本中导致的样本不均衡的问题；
  • 提出 Muti-crop 的数据增强策略，多尺度的剪裁原始图像作为数据增强；

🚩 效果

在这里插入图片描述




🚀 10. BYOL


在这里插入图片描述

📜 Paper: Bootstrap Your Own Latent A New Approach to Self-Supervised Learning [NeurIPS 2020]

📜 Blog: Understanding Self-Supervised and Contrastive Learning with “Bootstrap Your Own Latent” (BYOL)

🖥️ GitHub: byol


🎨 结构框图

在这里插入图片描述

Figure 1. BYOL’s architecture

🚩 详解

  • fθ 和 fξ 的网络结构一样，模型参数更新不同，fξ 采用动量编码器更新；
  • gθ 和 gξ 是类似 SimCLR 的 MLP层，与 fθ 和 fξ 的更新策略一样；
  • 在模型最后输出部分 zθ 再经过一个 MLP层 得到 qθ(zθ)，利用 qθ(zθ) 预测 z’ξ 计算 loss ；
  • 模型测试阶段使用 yθ 作为输出；

🚩 效果

在这里插入图片描述




🚀 11. SimSiam


在这里插入图片描述

📜 Paper: Exploring Simple Siamese Representation Learning [CVPR 2021]

🖥️ GitHub: simsiam


🎨 结构框图

在这里插入图片描述

Figure 1. SimSiam architecture

在这里插入图片描述

Figure 2. Comparison on Siamese architectures

🚩 详解

  • 较 BYOL 没有使用动量编码器进行参数更新；
  • 总结性工作；

🚩 效果

在这里插入图片描述

Comparisons on ImageNet linear classification

在这里插入图片描述

Transfer Learning



🚀 12. Mocov3


在这里插入图片描述

📜 Paper: An Empirical Study of Training Self-Supervised Vision Transformers [ICCV 2021, Oral]

🖥️ GitHub: moco-v3


🎨 结构框图

Figure 1. Algorithm

🚩 详解

  • 结合 MoCov2 和 SimSiam ；
  • 骨干网络替换成了 ViT ；

🚩 效果

在这里插入图片描述




🚀 13. DINO


在这里插入图片描述

📜 Paper: Emerging Properties in Self-Supervised Vision Transformers [ICCV 2021]

🖥️ GitHub: dino


🎨 结构框图

在这里插入图片描述

Figure 1. Model overview

Figure 1. Algorithm

🚩 详解

  • 融合 ViT 模型；
  • 使用 student gθs 得到的结果 P1 去预测 teacher gθt 得到的结果 P2 ；

🚩 效果

在这里插入图片描述

Self-attention from a Vision Transformer with 8 × 8 patches trained with no supervision




参考：

对比学习论文综述【论文精读】


在这里插入图片描述




🚀 14. CLIP


在这里插入图片描述

📜 Paper: Learning Transferable Visual Models From Natural Language Supervision [None 2021]

🖥️ GitHub: CLIP


🎨 结构框图

在这里插入图片描述

Figure 1. Summary of the approach


Numpy-like pseudocode

🚩 详解

  • 模型训练采用了一个非常大的数据集：400 million 图片文字对（image，text）；
  • CLIP 预训练模型可以在不需要任何数据集训练的情况下和一个有监督学习的模型达成平手，甚至还会更高（ImageNet，ResNet）；
  • 正样本：对角线元素（IiTi (1 ≤ i ≤ N)）;
  • 负样本：除对角线元素外的其他元素；

🚩 效果

在这里插入图片描述

CLIP is much more efficient at zero-shot transfer than our image caption baseline


在这里插入图片描述

Linear probe performance of CLIP models in comparison with state-of-the-art computer vision models



利用对比学习进行入侵检测的AOC-IDS_ Autonomous Online Framework with Contrastive Learning for Intrusion Detection
风口IT猪的成长录
05-27 257
之前的研究主要集中在（IDS），它采用离线训练来保护物联网系统。然而，这种静态 IDS 很难应对现实场景，在现实场景中，，因此需要动态且适应性强的 IDS。为了应对这一挑战，我们提出了 AOC-IDS，这是一种新型在线 IDS，具有自主异常检测模块（ADM）和用于持续适应的免人工在线框架。为了，ADM 采用自动编码器 (AE) 和定制的簇排斥对比 (CRC) 损失函数，从在线环境中的有限或增量输入数据生成独特的表示。
什么是contrastive learning？
paper_reader的博客
05-10 1万+
阅读更多，欢迎关注公众号：论文收割机（paper_reader） 因为排版问题，很多图片和公式无法直接显示，欢迎关注我们的公众号点击目录来阅读原文。 引言 对比学习最近特别火，为了弄懂这个方向以及需要解决的问题，所以本文将各个领域内比较重要的一些工作拿出来介绍讨论一下。对比学习（Contrastive learning）的主要是与自学习（self-supervised learning）结合起来，从而挖掘数据集本身的一些特性，来帮助模型进行无标签的学习。 计算机视觉 Si...
【自监督学习】对比学习（Contrastive Learning）介绍
Roaddd的博客
03-15 1万+
我们知道，标注数据总是有限的，就算ImageNet已经很大，但是很难更大，那么它的天花板就摆在那，就是有限的数据总量。NLP领域目前的经验应该是：自监督预训练使用的数据量越大，模型越复杂，那么模型能够吸收的知识越多，对下游任务效果来说越好。这可能是自从Bert出现以来，一再被反复证明的真理，如果它不是唯一的真理，那也肯定是最大的真理。
Contrastive learning的学习
qq_35368303的博客
04-18 2940
Contrast Learning Visual Attention for Multi Label Classification-CVPR Submitted on 24 Jul 2021 文章目录Contrast Learning Visual Attention for Multi Label Classification-CVPR Submitted on 24 Jul 2021前言一、摘要二、method1.input2.output3.contrastive learning三、实验总结 前
【深度学习：（Contrastive Learning） 对比学习】深入浅出讲解对比学习
欢迎来到最优秀的博客
01-04 6万+
对比学习是一种学习方法，侧重于通过对比正反两方面的实例来提取有意义的表征。它利用的假设是，在学习到的嵌入空间中，相似的实例应靠得更近，而不相似的实例应离得更远。通过将学习作为一项辨别任务，对比学习允许模型捕捉数据中的相关特征和相似性。
Contrastive Learning
Zhang Junjian的专栏
09-13 296
Contrastive LearningContrastive~LearningContrastive Learning Representation learningRepresentation~learningRepresentation learning 的目标是为输入 xxx 学习一个表示 zzz ，Contrastive LearningContrastive~LearningContrastive Learning 的核心是通过计算样本
Contrastive Learning——对比学习
THE_CS_UNIVERSE的博客
01-06 414
1.定义 对比式学习着重于学习同类实例之间的共同特征，区分非同类实例之间的不同之处。 与生成式学习比较，对比式学习不需要关注实例上繁琐的细节，只需要在抽象语义级别的特征空间上学会对数据的区分即可，因此模型以及其优化变得更加简单，且泛化能力更强。 对比学习的目标是学习一个编码器，此编码器对同类数据进行相似的编码，并使不同类的数据的编码结果尽可能的不同。 2.基本思想 缩小正样本的距离，扩大与负样本之间的距离 ...
对比学习（contrastive learning）
热门推荐
cziun的博客
07-28 11万+
什么是自监督学习？ 举个通俗的例子：即使不记得物体究竟是什么样子，我们也可以在野外识别物体。 我们通过记住高阶特征并忽略微观层面的细节来做到这一点。那么，现在的问题是，我们能否构建不关注像素级细节，只编码足以区分不同对象的高阶特征的表示学习算法？通过对比学习，研究人员正试图解决这个问题。 什么是对比学习？ 对比学习是一种自监督学习方法，用于在没有标签的情况下，通过让模型学习哪些数据点相似或不同来学习数据集的一般特征。 让我们从一个简单的例子开始。想象一下，你是一个试图理解世界的新生婴儿。在家里，假设你有两只
基于监督对比学习的重音语音识别_Supervised Contrastive Learning for Accented Spe
01-28
本文针对这一问题，深入研究了一种基于监督对比学习（Supervised Contrastive Learning, SCL）的框架，以提升重音语音识别的性能。 对比学习是一种无监督或半监督学习方法，通过构建样本的不同“视图”（即相似的...
PyTorch 深度学习实战（28）：对比学习（Contrastive Learning）与自监督表示学习
最新发布
m0_60414444的博客
03-29 1584
本文实现了基于对比学习的自监督表征学习框架，通过 InfoNCE 损失在 CIFAR-10 数据集上学习到具有判别性的特征表示。实验表明，仅使用线性分类器即可达到 82% 以上的验证准确率，证明了对比学习的有效性。在下一篇文章中，我们将深入计算机视觉的核心任务之一——《目标检测与 YOLO 实战》，探讨如何利用深度学习实现高效的目标检测系统。
contrastive-learning:对比学习方法
03-10
对比学习方法 支持更多内容的对比学习方法的第三方pytorch实现（请参阅“可用内容”部分）。 有什么可用的？ 使用SimCLR进行对比学习预训练 通过停止梯度进行在线线性评估 Pytorch闪电登录和默认收益（多GPU训练，混合精度等） 在GPU装置上收集负片以模拟更大的批次大小（尽管梯度不会在GPU上流动） 使用加快数据加载速度（以使用更多GPU内存为代价） SimCLR多分辨率农作物 SimCLR + 预训练后线性评估（通常得出1-1.5％的准确度点） 工作于： 结果 模型 方法 数据集 时代 批 温度 多作 大理 监督下 在线线性评估 预训练后线性评估 Resnet18 SimCLR Imagenet-100 100 256 0.2 70.74 71.02 Resnet18 SimCLR Imagenet-100 100 256 0.2 :check_mark_button:
DCRec：Debiased Contrastive Learning for Sequential Recommendation
Guozyan的博客
06-11 1233
目前的顺序推荐系统被提出来解决动态用户偏好学习的各种神经技术，如Transformer和图神经网络（GNNs）。然而，从高度稀疏的用户行为数据的推断可能阻碍顺序模式编码的表示能力。为了解决标签短缺问题，最近提出了对比学习（CL）方法以两种方式执行数据增强：（i）随机破坏序列数据（例如，随机掩蔽、重新排序）;（ii）跨预定义的对比视图对齐表示。在解决流行的偏见和用户的一致性和真实的兴趣时，CL为基础的方法有局限性。本文模型：统一的顺序模式编码与全局协作关系建模，通过自适应一致性感知增强。
对比学习（Contrastive Learning）
chen的博客
12-30 1394
对比学习（Contrastive Learning）是一种自监督学习方法，通过让模型学习区分相似和不相似的样本，构建有意义的特征表示。相似样本的特征应尽可能接近。不相似样本的特征应尽可能远离。对比学习广泛应用于表示学习，尤其是在没有标注数据的情况下训练深度神经网络。它通过构造正样本对（类似样本）和负样本对（不类似样本），让模型学习更具判别性的特征。输入：未标注数据（如图像、文本）及其增强后的不同视图。输出。
对比学习（contrastive Learning）
mddCSDN的博客
11-02 627
自监督学习又可以分为对比学习(contrastive learning)和生成学习(generative learning)两条主要的技术路线。比学习的核心思想是将正样本和负样本在特征空间对比，从而学习样本的特征表示，使得样本与正样本的特征表示尽可能接近。正样本和负样本是使用代理任务(pretext task)来定义的． 代理任务定义了样本之间的相似性，给定一个样本，与之相似的样本就是正样本，而不相似的样本就是负样本．。
【机器学习】对比学习（contrastive learning）
TwcatL_tree
11-21 4835
SSL 中使用的最古老和最受欢迎的技术之一是对比学习，它使用“正”和“负”样本来指导深度学习模型。此后，对比学习得到了进一步发展，现在被用于完全监督和半监督的环境中，并提高了现有技术水平的性能。现在让我们讨论一下对比学习的工作原理。对比学习如何在 Vision AI 中发挥作用？对比学习模仿人类的学习方式。例如，我们可能不知道什么是水獭或什么是灰熊，但看到图像（如下所示），我们至少可以推断出哪些图片显示的是相同的动物。
【AI知识点】对比学习（Contrastive Learning）
AI完全体
10-16 2326
对比学习（Contrastive Learning） 是一种基于样本之间相似性和差异性的无监督或自监督学习方法，旨在通过构建正例和负例对来学习数据的有效表示。对比学习广泛应用于自然语言处理（NLP）、计算机视觉（CV）等领域，尤其在表征学习（Representation Learning） 中表现出色。通过对比正例和负例，模型能够学习到不同样本之间的相似性和差异性，从而生成更具区分性的特征表示。
对比学习（Contrastive Learning）综述
04-20 5975
A.引入 https://zhuanlan.zhihu.com/p/346686467 A.引入 深度学习的成功往往依赖于海量数据的支持，其中对于数据的标记与否，可以分为监督学习和无监督学习。 1. 监督学习：技术相对成熟，但是对海量的数据进行标记需要花费大量的时间和资源。 2. 无监督学习：自主发现数据中潜在的结构，节省时间以及硬件资源。 2.1 主要思路：自主地从大量数据中学习同类数据的相同特性，并将其编码为高级表征，再根据不同任务进行微调即可。 2.2 分类： 2.2.1生成..
对比学习介绍Contrastive Learning
小幸运
08-14 5001
Generative Methods（生成式方法）这类方法以自编码器为代表，主要关注pixel label的loss。举例来说，在自编码器中对数据样本编码成特征再解码重构，这里认为重构的效果比较好则说明模型学到了比较好的特征表达，而重构的效果通过pixel label的loss来衡量。 对比式学习着重于学习同类实例之间的共同特征，区分非同类实例之间的不同之处。与生成式学习比较，对比式学习不需要关注实例上繁琐的细节，只需要在抽象语义级别的特征空间上学会对数据的区分即可，因此模型以及其优化...
【深度学习算法】Contrastive Learning
tobefans的博客
07-04 315
对比学习是近几年逐渐火起来的方向之一，尤其是自监督学习的崛起以来，受到了广泛的关注。
在研究对比学习，帮我搜一下20篇关于对比学习的文本语义相似度模型
01-06
### 对比学习在文本语义相似度建模中的研究综述 对比学习作为一种强大的自监督学习框架，在自然语言处理领域得到了广泛应用，特别是在文本语义相似度建模方面。为了帮助理解这一领域的最新进展，以下是精心挑选的20篇相关文献： #### 早期探索与基础理论 1. **A Simple Framework for Contrastive Learning of Visual Representations** 这篇文章提出了SimCLR框架，虽然主要针对视觉表示的学习，但其理念同样适用于NLP任务，启发了许多后续工作。 2. **Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks** 提出了Siamese网络结构用于句子嵌入，显著提高了下游任务的效果[^3]。 3. **Contrastive Learning for Unpaired Image-Image Translation** 尽管专注于图像转换，但文中提到的方法论对于理解和设计对比学习机制具有重要价值。 #### 技术创新与发展 4. **Supervised Contrastive Learning** 讨论了如何利用标签信息增强对比损失函数的设计，从而提升模型性能。 5. **MoCo v2: Improved Baselines with Momentum Contrastive Learning** MoCo系列论文展示了动量更新策略能够有效稳定负样本队列，促进更高质量表征的学习。 6. **SimCSE: Simple Contrastive Learning of Sentence Embeddings** 利用BERT预训练模型并引入简单的对比目标优化句子编码器，实现了SOTA的结果。 7. **CLIP: Connecting Text and Images** CLIP项目开创性地连接了多模态数据间的关联，证明了跨域对比学习的强大能力。 8. **Contriever: Efficient Dense Retrieval with Contrasting Sentence Views** 针对检索场景下的效率问题进行了改进，使得大规模文档索引成为可能。 9. **LaBSE: Multilingual Simultaneous Speech Translation via Latent Bottlenecked Self-Supervision** 探讨了低资源环境下多语言翻译系统的构建思路，体现了对比学习的优势所在。 #### 应用实例分析 10. **Learning to Retrieve Reasoning Paths over Wikipedia Graphs** 展现了图神经网络结合对比学习解决复杂推理路径提取的能力。 11. **Dense Passage Retriever for Open-Domain Question Answering** DPR模型通过密集向量空间内的近似最近邻搜索加速问答过程。 12. **Unsupervised Cross-Lingual Representation Learning for Text Classification** 解决了不同语言间迁移学习的关键挑战之一——缺乏平行语料库的问题。 13. **Cross-lingual Transferability of Contextualized Word Representations** 研究表明上下文化单词表示具备良好的跨语言泛化特性。 14. **Multimodal Pre-training with Unified Vision-Language Tasks** 统一的任务设定促进了视觉与语言两种模式之间的协同进化。 15. **Improving Multi-turn Dialogue Systems Using Conversational History Rewriting** 历史重写技术有助于改善对话系统连贯性和一致性表现。 #### 最新趋势展望 16. **Emergent Communication through Negotiation** 模拟人类交流过程中产生的新兴现象，揭示了潜在的语言演变规律。 17. **Exploring the Limits of Weakly Supervised Pretraining** 薄弱标注条件下仍能取得良好效果的事实说明了自我监督方法的巨大潜力。 18. **Language Models are Few-Shot Learners** GPT-3的成功案例再次验证了大型预训练模型所蕴含的知识容量及其快速适应少量样例的特点。 19. **On Calibration of Modern Neural Networks** 关于校准误差的研究提醒人们注意评估指标之外更重要的考量因素。 20. **Understanding Generalization in Deep Learning via Symmetry Analysis** 通过对称性视角探讨深层架构为何以及怎样实现泛化。 这些文献不仅涵盖了从基本概念到高级应用各个层面的内容，还反映了当前学术界对该主题最前沿的认识水平和发展方向。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Horizon John

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值