无监督学习
wild kindom
这个作者很懒,什么都没留下…
展开
-
对比模型之 SimSiam
小白的我又在看对比学习,里面有太多的东西不懂了。。。比如collapse到底是啥意思?对比损失函数里负样本在实际训练过程中的作用是什么?为什么去掉负样本也可行,为什么。。。。今天看了一篇推文,作者是安迪的写作时间安迪的写作时间安迪的写作时间,其文章介绍了SimSiam,也比较了其与simCLR, MoCo,BYOL等的异同。文章链接在此:探索孪生神经网络:请停止你的梯度传递!看完之后决定去撸撸paper和code!勉励自己:遇到问题,解决问题。...原创 2020-12-15 16:42:06 · 1822 阅读 · 1 评论 -
model.eval() 并不能固定model的参数
model.eval() 并不能固定model的参数。搭建了包含两个模型的网络框架,即在CNN的基础上添加了MLP:先训练好CNN,使用CNN提取的特征再进行MLP的训练。graph LRCNN-->1D_features1D_features-->MLPCNN.eval()并不能固定CNN的参数,在训练MLP时依然会发生改变。所以需要使用with torch.no_grad(): model.eval()...原创 2020-12-11 17:10:24 · 748 阅读 · 0 评论 -
对比学习模型梳理
原文链接但须一提的是文中第一个loss function的分母是错误的,读者需要注意。原创 2020-12-10 12:17:31 · 1356 阅读 · 0 评论 -
SCAN: learning to classify images without labels 阅读笔记
SCAN: learning to classify images without labels 阅读笔记概览具体方法实验设置没用把论文的图片和公式放进来,太懒了概览Approach: A two-step approach where feature learning and clusteringare decoupled.Step 1:Solve a pretext task + Mine k nearest neighbrs通过利用特征相似性来挖掘每张图片的最近邻居nearest原创 2020-11-23 21:12:02 · 2985 阅读 · 1 评论