![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NYU-DL-21SP
文章平均质量分 57
丢掉幻想,准备斗争
这个作者很懒,什么都没留下…
展开
-
解藕表征阅读
【cvpr2022-Decoupled Knowledge Distillation】使用teacher网络(比student更深)学习到的知识,对学生学习到的知识做一个监督之后的工作使用中间特征监督这篇工作发现之前KD的方法,使用最后的logits性能被限制住?【可解释解耦表征中的位置与内容假设】解耦就是将一个对象分解为各自独立的因素。不同的因素控制不同的结果,一个因素只控制一个结果的改变。解耦表征,也就是找出对象特征里的可解释因子,从而对高维的数据产生有意义的理解。非监督解耦认为,现实世界原创 2022-06-16 11:35:34 · 699 阅读 · 1 评论 -
disentangled representations
sparse data manifold=>compressible有10个数据,使用4x4=16维的数据表示。我们可以发现每个数据特别地有一个空列。因此对于每个图像,大多变化可以用一个数来表示ref:https://www.youtube.com/watch?v=itOlzH9FHkIintro:Machine Learning Edinburgh: Disentangled Representationstalker:Yordan Hristov, University of Edinbur原创 2022-06-16 10:28:46 · 262 阅读 · 0 评论 -
Disentangling Feature Extractor
What is Disentangled Representation Learning?Disentangled representation is an unsupervised learning technique that breaks down, or disentangles, each feature into narrowly defined variables and encodes them as separate dimensions. The goal is to mimic th原创 2022-06-15 22:33:32 · 98 阅读 · 0 评论 -
gradient descent
三种梯度下降原创 2022-06-15 17:04:21 · 75 阅读 · 1 评论 -
传统机器学习与深度学习的区别
传统机器学习(traditionla machine learning),分为两步为特征提取(手工工程handcrafted)和可训练的分类器深度学习(deep learning)一步到位,过程包含了各个level特征提起(low-mid-high)以及分类器,这些都是可训练的。个人认为,之后一些dl子领域的任务,如行人重识别和步态识别都使用了end2end网络,目的也是发挥‘完全深度神经网络’的能力。但这个端到端的训练,在一个数据集到另个数据集上的表现(cross-domian)上有使用分步(或者han原创 2022-06-15 16:06:03 · 951 阅读 · 0 评论 -
NYU-DL-21SP-History of DL
On a conceptual level, deep learning is inpsired by the brain but not of the brain’s details are relevant.Simliarly, airplanes were inspired by birds.The principle of flying id the same but the details are extremely different .ref:https://atcold.github.io/原创 2022-06-15 15:49:53 · 282 阅读 · 0 评论