论文解读
文章平均质量分 92
捡起一束光
某985本硕,热爱分享推荐系统、自然语言处理等优质内容的算法工程师
展开
-
OpenAI打破文本和图像次元壁,提出基于对比学习的多模态预训练模型CLIP
OpenAI打破了自然语言与视觉的次元壁,推出了一个连接文本与图像的神经网络模型CLIP。CLIP彻底摆脱了categorical label的限制,也就是在训练和预测时,我都不需要有提取定好的类别列表(如CIFAR10的10个类别标签)。任何给一张图片,如奥特曼,我只要在Prompt文本里去加入一些自己想的类别(如三轮车、奥特曼、马铃薯),然后模型就能预测这种图片是不是我感兴趣的物品。原创 2022-11-02 10:42:33 · 2027 阅读 · 0 评论 -
你必须要知道CNN模型:ResNet残差网络
引入ResNet后,因为加入了跳转或者说高速公路,所以在算梯度的时候,底层W的梯度可以直接让loss从高速公路反传过来,就不需要一定把中间很多卷积层走完。所以说在一开始的时候,我最下面的层也会拿到比较大的梯度,就是因为我加入了高速公路。因此无论你模型有多深,我下面的层都能做参数的更新。ResNet在PyTorch的官方代码中共有5种不同深度的结构,深度分别为18、34、50、101、152(各种网络的深度指的是“ResNet-18,ResNet-34,ResNet-50都可以用做CV中的图片特征提取器。原创 2022-11-02 10:07:06 · 1799 阅读 · 0 评论 -
【ICML 2020对比学习论文解读】SimCLR: A Simple Framework for Contrastive Learning of Visual Representations
对比学习是一种自监督学习方法,在无标签数据集上仍可以学习到较好的表征。对比学习的主要思想就是相似的样本的向量距离要近,不相似的要远,以此获得数据的高阶信息。原创 2022-10-09 10:16:34 · 1307 阅读 · 0 评论 -
【NAACL 2019预训练论文解读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
简介:Transformer主要用在机器翻译这个小的领域上。BERT可以针对一般的语言理解任务。之前CV里面有预训练的CNN模型,那BERT出现后使得NLP也有了预训练模型。原创 2022-10-09 10:11:47 · 573 阅读 · 0 评论 -
【VAE论文解读系列】FactorVAE: Disentangling by Factorising(ICML 2018)
β-VAE直接对两项一起惩罚,会导致disentanglement效果好,而重构效果就会下降,所以FactorVAE希望将其分开。FactorVAE的思路是在原始VAE的lower bound后面加上一个TC项来促进表征$z$的每个维度之间尽可能独立,提高的解耦能力。原创 2022-02-11 17:27:35 · 2112 阅读 · 0 评论 -
【GAN论文解读系列】NeurIPS 2016 InfoGAN 使用InfoGAN解耦出可解释的特征
在InfoGAN中输入Generator的噪音z分成了两个部分:一部分是随机噪音z',另一部分是由若干个隐向量拼接而成latent code c。c里面的每个维度符合先验的概率分布,比如categorical code $c_1\sim Cat(K=10,p=0.1)$,two continuous codes $c2,c3\sim Unif(-1,1)$...原创 2021-11-25 14:43:32 · 3170 阅读 · 0 评论 -
【知识蒸馏论文解读】Dataset Distillation 创新性十足的数据集蒸馏
模型蒸馏(model层面)的目标是从一个复杂的模型中蒸馏知识到小的模型上。本文考虑的是数据集上的蒸馏(**dataset层面**),具体来说,我们会固定住模型,然后尝试从较大的训练数据集中蒸馏知识到小的数据集上。核心目的是将原始的大数据集压缩成一个小的数据集(不需要来自训练集的分布),并且在这个小数据集上训练模型的效果和原始较大数据集上的训练效果是接近的。......原创 2022-01-21 21:40:22 · 5363 阅读 · 1 评论 -
【CVPR 2021联邦学习论文解读】Model-Contrastive Federated Learning (MOON) 联邦学习撞上对比学习
- 传统的对比学习是data-level的,本文改进了FedAvg的本地模型训练阶段,提出了model-level的联邦对比学习(Model-Contrastive Federated Learning)- 作者从NT-Xent loss中获得灵感,提出了model-contrastive loss。model-contrastive loss可以从两方面影响本地模型 1. 本地模型能够学到接近于全局模型的representation 2. 本地模型可以学到比上一轮本地模型更好的representatio原创 2022-01-19 23:47:29 · 8625 阅读 · 9 评论 -
【ICLR 2017图神经网络论文解读】Semi-Supervised Classification with Graph Convolutional Networks (GCN) 图卷积网络
GCN是图神经网络领域最经典的论文,值得我们好好阅读!原创 2021-12-25 14:35:50 · 1054 阅读 · 0 评论 -
【NIPS 2016图神经网络论文解读】Variational Graph Auto-Encoders (VGAE) 基于VAE的图变分自编码器
Thomas N. Kipf大佬不仅是这篇VGAE的作者,而且还是大名鼎鼎GCN模型的作者。VGAE是GCN在Variational Graph Auto-Encoders (VAE)的应用。原创 2021-12-25 10:26:54 · 5693 阅读 · 0 评论 -
【ICML 2015迁移学习论文阅读】Unsupervised Domain Adaptation by Backpropagation (DANN) 无监督领域自适应
Unsupervised domain Adaptation by Backpropagation 这篇论文发表于2015 ICML,目前引用量已经3000+,这篇文章讲得非常好,把对抗训练的思想应用到分布迁移上面。具体来说在原来feature mapping的基础上外接一个domain classifier(之前那个叫做label classifier),这个domain classifier的作用是判别当前样本是属于哪个domain的,如果你的数据集只有两个分布,那么这个classifier就是一个二分原创 2021-11-08 21:49:17 · 4732 阅读 · 1 评论 -
【ICLR 2018图神经网络论文解读】Graph Attention Networks (GAT) 图注意力模型
与GCN类似,GAT同样是一种局部网络。因此,训练GAT模型无需了解整个图结构,只需知道每个节点的邻节点即可。原创 2021-11-06 09:39:20 · 4800 阅读 · 0 评论 -
【ICML 2018图神经网络论文解读】Representation Learning on Graphs with Jumping Knowledge Networks (JK-Net)
论文题目:Representation Learning on Graphs with Jumping Knowledge Networks论文地址:https://arxiv.org/pdf/1806.03536.pdf会议:ICML 2018代码:背景介绍GCN对所有的节点“一视同仁”,如果你设的是K层网络,那么图中每个节点都会用第K跳聚合到的信息,但坏处是你无法再获得第1跳到第K-1跳的任何一跳的聚合信息。在GCN论文中有提到,网络最好的效果是在第2跳左右,随着网络层数的加深,会出现过..原创 2021-11-04 11:26:30 · 2087 阅读 · 0 评论 -
【ICML 2020联邦学习论文解读】SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
FedAvg的收敛速度受限于数据集的分布,在Non-IID数据集中FedAvg的收敛速度缓慢。本文提出了一种叫做SCAFFOLD的算法,通过增加一个额外的参数control variate来修正FedAvg出现的client-drift,以此来加快收敛速度,从而减少通信次数............原创 2020-11-30 22:23:05 · 5080 阅读 · 8 评论