飞花穿庭-CSDN博客

原创 Pretrained Transformers As Universal Computation Engines Kevin笔记

在文本上预训练了的transformers可以轻松拓展到其他模态。

2022-08-03 08:43:24 317 1

原创 Early Convolutions Help Transformers See Better

Early Convolutions Help Transformers See BetterAbstractVIT优化较为困难，对参数选择比较敏感。网络传统多层3*3conv，每层后加BN、ReLU，到encoder前时控制与原ViT输入相同虽然ViT论文中也有这种结构，但论文中说明这种结构的分数是要略微逊色的，但这篇论文证明了这种结构可以更容易优化。实验结果用CNN代替patch结构会使：收敛更快不再局限于SGD（SGC和AdamW的差距较小）对超参数不那么敏感weigh

2022-05-02 14:36:25 814

原创 An IMage Is Worth 16 X 16 Words （VIT)

An IMage Is Worth 16 X 16 Words （VIT):1. 网络1.1 emb层每张图N个patch，将patch flatten成一维将每个patch的维度用线性层升到D维，这层叫patch embeddings开始加cls，每个emb要加pos_embE是linear pro1.2 剩下部分MSA是multiheaded self- attentionLN - layer-normMLP激活函数是GELU每层都加了残差的1.3 wo

2022-05-01 00:04:13 163

原创 BERT Pre-training of deep bidirectional transformers for language understanding

BERT: Pre-training of deep bidirectional transformers for language understanding1.embbert emb的输入时三个emb的和，首先是token自己的emb，其次是segment emb（区分属于第几个句子），第三个是position emb2.预训练任务替换策略：MLM（普遍使用）替换策略：15%做处理，在其中：80%做[MASK]10%随机token替换10%不替换NSP（句子

2022-04-29 23:02:37 1048

原创 Deep clustering for unsupervised learning of visual features论文笔记

Deep clustering for unsupervised learning of visual features知识点所有分类问题都可能出现退化的情况，因为分类器认知中的最好分类就是将所有的点分为一类（对于有监督而言，当样本不平衡时这种情况尤甚）。对于KMeans，可以在出现出现空簇时，随机选择一个非空簇，将它的中心进行一定偏移获得一个新中心，然后再继续进行聚类。流程通过传统聚类如KMeans获得伪标签，然后用交叉熵进行训练。...

2022-02-13 22:34:06 407

原创 Deep Adaptive Image Clustering论文笔记

Deep Adaptive Image Clustering模型隐层优化标签推断模型隐层优化minwE(w,λ)=∑i,jvijL(rij,g(xi,xj;w))+u(λ)−l(λ)\underset{w}{min}E(w, \lambda) =\underset{i,j}{\sum}v_{ij}L(r_{ij}, g(x_i, x_j;w))+u(\lambda)-l(\lambda)wminE(w,λ)=i,j∑vijL(rij,g(xi,xj;w))+u(λ)−l(λ)这里的w是

2022-01-05 11:11:17 868

原创 SPICE: Semantic Pseudo-Labeling forImage Clustering论文笔记

SPICE: Semantic Pseudo-Labeling forImage Clustering论文链接零碎知识网络架构1.特征模型聚类部分原型伪标签训练聚类部分论文链接零碎知识早期的深度聚类模型学习autoencoder的隐层，但这存在一个问题，即autoencoder的重构误差是基于单个pixel，这就会导致模型过于关注图像低层次的信息，如颜色等，而忽略对象级别的特征。网络架构模型分为三步来训练模型。1.特征模型这个板块主要用来将图像映射到子空间，类似于autoencoder的en

2021-12-08 15:12:14 935

原创 CLUSTERING-FRIENDLY REPRESENTATION LEARNING VIA INSTANCE DISCRIMINATION AND FEATURE DECORRELATION笔记

CLUSTERING-FRIENDLY REPRESENTATION LEARNING VIA INSTANCE DISCRIMINATION AND FEATURE DECORRELATION论文链接网络网络总括损失函数INSTANCE DISCRIMINATION（不太好翻成中文）特征解耦总损失论文链接网络网络主要目的有两个：一个是使个体与自己的相似度最大，另外一个是减少不同维度特征之间的相关性。网络是”两步走“的模型：先学习特征，然后用k-means聚类。网络总括先用一个CNN将原始图像

2021-12-07 21:07:17 582

原创 Graph Contrastive Clustering论文笔记

Graph Contrastive Clustering论文链接总结零碎知识网络架构图的构成knn计算RGC部分损失AGC部分损失正则化损失总损失论文链接总结这篇文章将对比学习运用到图神经网络上，并且将“正样本”的概念拓展到了原样本的邻居之间。零碎知识深度聚类主要分为两类，一类是基于重构的方法，一类是基于自增广的方法。前者使用autoencoder对子空间的向量表达进行约束，使其对聚类更为友好；后者利用原图像和该图像经转换后的图像（transformed image）之间的相似性，来训练模型。网

2021-12-07 01:47:57 438

原创 Deep embedding network for clustering论文笔记

Deep embedding network for clustering论文笔记网络结构论文笔记网络结构

2021-11-28 09:39:44 2225

原创 Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering论文笔记

Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering论文链接零碎知识网络架构损失函数优化预训练分步训练重构损失聚类损失论文链接零碎知识因为在数据的隐层表达学习过程中没有一个明确的聚类促进目标，所以训练出来的结果可能时好时坏。网络架构整体和普通的autoencoder一样，只不过在损失函数处增加一个聚类损失。这篇文章中的decoder和encoder是完全对称的。损失函数xix_ixi是数据

2021-11-27 13:42:03 364

原创 Masked Autoencoders Are Scalable Vision Learners论文笔记

Masked Autoencoders Are Scalable Vision Learners论文链接网络MaskingEncoderDecoderLoss实验论文链接网络网络整体架构与普通autoencoder类似，但有一些优化。Masking首先，作者将图像的像素点划分为多个没有重合的小块（patch），然后遵从均匀分布（防止选择的小块趋向于图片中心），从这些小块中随机选择一定比例的小块，然后去除剩余的小块（mask），而被选择出的小块就是encoder的输入。Encoderencod

2021-11-15 15:08:22 3757

原创 HIBOG: Improving the clustering accuracy by amelioratingdataset with gravitation论文笔记

HIBOG: Improving the clustering accuracy by amelioratingdataset with gravitation论文链接论文链接

2021-11-14 21:59:20 1055

原创 Adversarially Regularized Graph Autoencoder for Graph Embedding论文笔记

Adversarially Regularized Graph Autoencoder for Graph Embedding论文链接总结网络EncoderDecoderDiscriminator原理损失论文链接总结这篇文章将GAN（生成对抗网络）加入到了GAT中，根据base-encoder的不同，提出了adversarially regularized graph autoen-coder(ARGA) 和adversarially regularized vari-ational graph

2021-11-11 19:59:44 1301

原创 Variational Graph Auto-Encoders论文笔记

Variational Graph Auto-Encoders论文链接原理Inference model论文链接原理本质上也是autoencoder。文章中的Inference model部分本质上就是autoencoder的encoder部分，而Generative model部分本质上就是decoder部分。Inference model这一部分采用的是一个两层的GCN，用公式表达即：GCN(X,A)=A~ReLU(A~XW0)W1 GCN(X,A) = \tilde A ReLU (\t

2021-11-11 14:58:45 685

原创 Deep Clustering via Joint Convolutional Autoencoder Embedding and RelativeEntropy Minimization论文笔记

Deep Clustering via Joint Convolutional Autoencoder Embedding and RelativeEntropy Minimization论文链接总结网络架构1. Noisy Encoder2. Decoder3. Clean Encoder损失函数构成重构损失论文链接总结这篇文章提出了deep embedded regularIzed clustering (DEPICT)的方法，从网络架构上来讲是很多种trick的集成体。网络整体还是aut

2021-11-08 20:08:27 1763

原创 Extracting and Composing Robust Features with Denoising Autoencoders论文笔记

Extracting and Composing Robust Features with DenoisingAutoencoders论文链接零碎知识网络原理结构训练论文链接零碎知识可以通过在训练前，先用无监督的方式将输入映射到更为有意义的向量空间的方式，来减轻训练深度生成、判别模型的困难。可以通过逐层初始化的方式来获得更好的效果。网络原理好的模型学习到的应该是数据潜在的分布。而对于输入的高维向量而言，可能有些维度并没有携带信息，甚至可能携带噪音。一个维度与其它多个维度应该是相关的，

2021-11-07 13:30:50 354

原创 A Survey of Clustering With Deep Learning: Fromthe Perspective of Network Architecture

A Survey of Clustering with Deep Learning: From the Perspective of Network Architecture总结这篇博客是对该综述论文的总结，并按照文章顺序学习其所提到论文的记录。文章将deep clustering按deep-base的类型分为四种：AE-based, CDNN-based, VAE-based, andGAN-based 。我将按板块对它们进行学习，并在完成模块后将笔记和总结加入到该博客中。前置知识该部分记录了我不

2021-11-06 11:30:39 700

昼