自监督学习
文章平均质量分 95
好喜欢吃红柚子
行到水穷处,坐看云起时
展开
-
SimCLR损失函数详解
可以增加负样本的数量,在计算概率的时候,计算公式的分母中就包含了负样本的计算。有一批batchsize为N的样本,论文中N=8192,下图以N=2为例;其余任意两两图片之间的组合组成的图片对即为负样本。更大的训练批量和训练轮数,可以提供更多的负样本,促进模型收敛。最后,计算每个Batch里面的所有Pair(共有N个图片对,),所以1个Batch 一共有 N*2 个增强样本图片。对于一个batch中,由同一张图片数据增强过的两张图片(对一个batch中的每个样本都进行2次随机的。张图片的相似性求对数的和。原创 2023-12-13 11:07:57 · 1142 阅读 · 0 评论 -
自监督学习模型发展综述:Inst Disc、Inva Sread、MOCO、SimCLR、BYOL
代理任务:个体判别,每一张图片都是自己的类,每一张图片都尽可能和其他图片分开。对比学习:需要有正负样本,让正负样尽可能的分开,负样本越多对比学习效果更好。原创 2023-09-19 09:33:49 · 1047 阅读 · 0 评论 -
自监督学习之对比学习:MoCo模型超级详解解读+总结
动量对比学习方法做无监督表征学习。使用动量的方式更新编码器,使用队列的方法存储memory bank这个字典,从而获得一个又大又一致的字典。原创 2023-09-19 09:31:19 · 5656 阅读 · 1 评论