![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
文章平均质量分 81
MiHao_YOUNG
这个作者很懒,什么都没留下…
展开
-
SGDR学习率调整策略
SGDR学习率调整策略介绍论文SGDR: STOCHASTIC GRADIENT DESCENT WITHWARM RESTARTSSGDR,以一种周期性调整学习率的方法,周期性地增大学习率原因梯度收敛的值可能是空间中的鞍点或者是相对较大的极小值点。鞍点严重影响模型的学习率,较大的极小值点导致模型性能较差。空间半径较大的极小值点,模型的泛化能力较强因此,适度增大学习率,可以使模型更快(学习率较大)地逃离鞍点,从而加速模型收敛。同时,假如收敛的极值点的空间半径较小,更大的学习率原创 2021-09-03 19:13:18 · 1888 阅读 · 0 评论 -
DINO Emerging Properties in Self-Supervised Vision Transformers 论文阅读
Emerging Properties in Self-Supervised Vision Transformers阅读笔记介绍论文作者提出了一种新的自监督学习方法,self-distillation with no labels(DINO)。并将其应用在了CNN和Vision Transformer(ViT)结构上,均取得了不错的效果,且ViT的效果还要优于CNN。特点self-supervised ViT的feature包含了图片的语义分割的明确信息,如场景布局(scene layout),对原创 2021-08-22 18:23:23 · 1898 阅读 · 0 评论 -
卷积神经网络-CNN
这是博主自己学习CNN整理的一点小笔记参考了很多大佬的文章,在文末贴出连接,推荐给大伙阅读CNN原理局部连接对于一张图片,保留其原本的图形结构,通过局部扫描的方式,每次对图像的一个区域进行计算,进而得到一个权重,最终得到一个小矩阵。用来提取局部信息的小矩阵被称为过滤器Filter或卷积核Kernel共享权重每一次对整张图片的扫描,使用一个Kernel,该Kernel由设定的step大小来遍历图片矩阵的所有位置,进而得到一个权重矩阵(Feature Map)。即在一次卷积计算中,所有的每一个原创 2021-05-13 19:20:59 · 178 阅读 · 0 评论