- 博客(22)
- 收藏
- 关注
原创 Pretrained Transformers As Universal Computation Engines Kevin笔记
在文本上预训练了的transformers可以轻松拓展到其他模态。
2022-08-03 08:43:24
311
1
原创 Early Convolutions Help Transformers See Better
Early Convolutions Help Transformers See BetterAbstractVIT优化较为困难,对参数选择比较敏感。网络传统多层3*3conv,每层后加BN、ReLU,到encoder前时控制与原ViT输入相同虽然ViT论文中也有这种结构,但论文中说明这种结构的分数是要略微逊色的,但这篇论文证明了这种结构可以更容易优化。实验结果用CNN代替patch结构会使:收敛更快不再局限于SGD(SGC和AdamW的差距较小)对超参数不那么敏感weigh
2022-05-02 14:36:25
812
原创 An IMage Is Worth 16 X 16 Words (VIT)
An IMage Is Worth 16 X 16 Words (VIT):1. 网络1.1 emb层每张图N个patch,将patch flatten成一维将每个patch的维度用线性层升到D维,这层叫patch embeddings开始加cls, 每个emb要加pos_embE是linear pro1.2 剩下部分MSA是multiheaded self- attentionLN - layer-normMLP激活函数是GELU每层都加了残差的1.3 wo
2022-05-01 00:04:13
161
原创 BERT Pre-training of deep bidirectional transformers for language understanding
BERT: Pre-training of deep bidirectional transformers for language understanding1.embbert emb的输入时三个emb的和,首先是token自己的emb,其次是segment emb(区分属于第几个句子), 第三个是position emb2.预训练任务替换策略:MLM(普遍使用)替换策略:15%做处理,在其中:80%做[MASK]10%随机token替换10%不替换NSP(句子
2022-04-29 23:02:37
1045
原创 Deep clustering for unsupervised learning of visual features论文笔记
Deep clustering for unsupervised learning of visual features知识点所有分类问题都可能出现退化的情况,因为分类器认知中的最好分类就是将所有的点分为一类(对于有监督而言,当样本不平衡时这种情况尤甚)。对于KMeans,可以在出现出现空簇时,随机选择一个非空簇,将它的中心进行一定偏移获得一个新中心,然后再继续进行聚类。流程通过传统聚类如KMeans获得伪标签,然后用交叉熵进行训练。...
2022-02-13 22:34:06
407
原创 Deep Adaptive Image Clustering论文笔记
Deep Adaptive Image Clustering模型隐层优化标签推断模型隐层优化minwE(w,λ)=∑i,jvijL(rij,g(xi,xj;w))+u(λ)−l(λ)\underset{w}{min}E(w, \lambda) =\underset{i,j}{\sum}v_{ij}L(r_{ij}, g(x_i, x_j;w))+u(\lambda)-l(\lambda)wminE(w,λ)=i,j∑vijL(rij,g(xi,xj;w))+u(λ)−l(λ)这里的w是
2022-01-05 11:11:17
868
原创 SPICE: Semantic Pseudo-Labeling forImage Clustering论文笔记
SPICE: Semantic Pseudo-Labeling forImage Clustering论文链接零碎知识网络架构1.特征模型聚类部分原型伪标签训练聚类部分论文链接零碎知识早期的深度聚类模型学习autoencoder的隐层,但这存在一个问题,即autoencoder的重构误差是基于单个pixel,这就会导致模型过于关注图像低层次的信息,如颜色等,而忽略对象级别的特征。网络架构模型分为三步来训练模型。1.特征模型这个板块主要用来将图像映射到子空间,类似于autoencoder的en
2021-12-08 15:12:14
935
原创 CLUSTERING-FRIENDLY REPRESENTATION LEARNING VIA INSTANCE DISCRIMINATION AND FEATURE DECORRELATION笔记
CLUSTERING-FRIENDLY REPRESENTATION LEARNING VIA INSTANCE DISCRIMINATION AND FEATURE DECORRELATION论文链接网络网络总括损失函数INSTANCE DISCRIMINATION(不太好翻成中文)特征解耦总损失论文链接网络网络主要目的有两个:一个是使个体与自己的相似度最大,另外一个是减少不同维度特征之间的相关性。网络是”两步走“的模型:先学习特征,然后用k-means聚类。网络总括先用一个CNN将原始图像
2021-12-07 21:07:17
582
原创 Graph Contrastive Clustering论文笔记
Graph Contrastive Clustering论文链接总结零碎知识网络架构图的构成knn计算RGC部分损失AGC部分损失正则化损失总损失论文链接总结这篇文章将对比学习运用到图神经网络上,并且将“正样本”的概念拓展到了原样本的邻居之间。零碎知识深度聚类主要分为两类,一类是基于重构的方法,一类是基于自增广的方法。前者使用autoencoder对子空间的向量表达进行约束,使其对聚类更为友好;后者利用原图像和该图像经转换后的图像(transformed image)之间的相似性,来训练模型。网
2021-12-07 01:47:57
437
原创 Deep embedding network for clustering论文笔记
Deep embedding network for clustering论文笔记网络结构论文笔记网络结构
2021-11-28 09:39:44
2222
原创 Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering论文笔记
Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering论文链接零碎知识网络架构损失函数优化预训练分步训练重构损失聚类损失论文链接零碎知识因为在数据的隐层表达学习过程中没有一个明确的聚类促进目标,所以训练出来的结果可能时好时坏。网络架构整体和普通的autoencoder一样,只不过在损失函数处增加一个聚类损失。这篇文章中的decoder和encoder是完全对称的。损失函数xix_ixi是数据
2021-11-27 13:42:03
363
原创 Masked Autoencoders Are Scalable Vision Learners论文笔记
Masked Autoencoders Are Scalable Vision Learners论文链接网络MaskingEncoderDecoderLoss实验论文链接网络网络整体架构与普通autoencoder类似,但有一些优化。Masking首先,作者将图像的像素点划分为多个没有重合的小块(patch),然后遵从均匀分布(防止选择的小块趋向于图片中心),从这些小块中随机选择一定比例的小块,然后去除剩余的小块(mask),而被选择出的小块就是encoder的输入。Encoderencod
2021-11-15 15:08:22
3755
原创 HIBOG: Improving the clustering accuracy by amelioratingdataset with gravitation论文笔记
HIBOG: Improving the clustering accuracy by amelioratingdataset with gravitation论文链接论文链接
2021-11-14 21:59:20
1052
原创 Adversarially Regularized Graph Autoencoder for Graph Embedding论文笔记
Adversarially Regularized Graph Autoencoder for Graph Embedding论文链接总结网络EncoderDecoderDiscriminator原理损失论文链接总结这篇文章将GAN(生成对抗网络)加入到了GAT中,根据base-encoder的不同,提出了adversarially regularized graph autoen-coder(ARGA) 和adversarially regularized vari-ational graph
2021-11-11 19:59:44
1299
原创 Variational Graph Auto-Encoders论文笔记
Variational Graph Auto-Encoders论文链接原理Inference model论文链接原理本质上也是autoencoder。文章中的Inference model部分本质上就是autoencoder的encoder部分,而Generative model部分本质上就是decoder部分。Inference model这一部分采用的是一个两层的GCN,用公式表达即:GCN(X,A)=A~ReLU(A~XW0)W1 GCN(X,A) = \tilde A ReLU (\t
2021-11-11 14:58:45
684
原创 Deep Clustering via Joint Convolutional Autoencoder Embedding and RelativeEntropy Minimization论文笔记
Deep Clustering via Joint Convolutional Autoencoder Embedding and RelativeEntropy Minimization论文链接总结网络架构1. Noisy Encoder2. Decoder3. Clean Encoder损失函数构成重构损失论文链接总结这篇文章提出了deep embedded regularIzed clustering (DEPICT)的方法,从网络架构上来讲是很多种trick的集成体。网络整体还是aut
2021-11-08 20:08:27
1761
原创 Extracting and Composing Robust Features with Denoising Autoencoders论文笔记
Extracting and Composing Robust Features with DenoisingAutoencoders论文链接零碎知识网络原理结构训练论文链接零碎知识可以通过在训练前,先用无监督的方式将输入映射到更为有意义的向量空间的方式,来减轻训练深度生成、判别模型的困难。可以通过逐层初始化的方式来获得更好的效果。网络原理好的模型学习到的应该是数据潜在的分布。而对于输入的高维向量而言,可能有些维度并没有携带信息,甚至可能携带噪音。一个维度与其它多个维度应该是相关的,
2021-11-07 13:30:50
353
原创 A Survey of Clustering With Deep Learning: Fromthe Perspective of Network Architecture
A Survey of Clustering with Deep Learning: From the Perspective of Network Architecture总结这篇博客是对该综述论文的总结,并按照文章顺序学习其所提到论文的记录。文章将deep clustering按deep-base的类型分为四种:AE-based, CDNN-based, VAE-based, andGAN-based 。我将按板块对它们进行学习,并在完成模块后将笔记和总结加入到该博客中。前置知识该部分记录了我不
2021-11-06 11:30:39
700
原创 Supporting Clustering with Contrastive Learning论文笔记
Supporting Clustering with Contrastive Learning总结跟之前读过的Contrastive learning一文整体相似(笔记),但是clustering head部分略有不同。Instance-CL(contrastive learning)的问题它虽然使正样本对之间距离减小,但它在增大负样本对之间距离时,只会尽可能增大它们之间的距离,而完全不顾它们之间的相似性。网络分为三部分:feature generator、instance-CL head、c
2021-11-05 11:50:19
838
1
原创 Contrastive Clustering论文笔记
Contrastive ClusteringSummaryCC:将得到的特征向量分别放入到实例层和聚类层中同时进行优化。网络
2021-11-04 22:40:41
1009
2
原创 Learning Convolutional Neural Networks for Graphs论文笔记
Learning Convolutional Neural Networks for Graphs
2021-11-04 08:56:46
144
原创 Diffusion-Convolutional Neural Networks论文笔记
Diffusion-Convolutional Neural Networks论文笔记Core这篇文章提出了hop的概念,使一个节点能够关注到与它距离更远的节点,而不仅限于一阶邻居。网络介绍这篇论文主要针对三种分类任务。1. 节点分类1.1 输入输入为两个矩阵,分别为矩阵P和矩阵X。X为图的特征矩阵(N*F),P则是多个类似于邻接矩阵的矩阵叠加而成,也是本篇论文的核心‘hop’。对于网络而言,hop是一个超参,当hop=1时,则P就代表着邻接矩阵;当hop=2时,P代表着邻接矩阵加上与该节
2021-11-03 22:09:36
301
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人