深度学习与计算机视觉
cosmosknight
这个作者很懒,什么都没留下…
展开
-
MeshNet 论文解读
论文:MeshNet: Mesh Neural Network for 3D Shape Representation链接:https://arxiv.org/abs/1811.11424一、论文动机 目前利用深度学习来处理3D数据的类别主要是如下几种:(1)体素(voxel-based);(2)多视角图片(view-based);(3)点云数据(point-based);(4)融合数据(Fusion), 比如前面几种数据中提取特征再融合在一起。 而本文讨论的3D数据是基于三角网格。...原创 2020-08-26 10:47:45 · 4398 阅读 · 0 评论 -
关于周期性学习率(Cyclical Learning Rate, CLR)
背景介绍在神经网络训练的过程中,一个需要调节的非常关键的超参数就是学习率。合理的学习率的设置决定了模型训练的精度和效率。学习率设置的过大,模型可能很难收敛,设置的过小,则参数更新过于缓慢,因此模型训练的会比较慢,需要更多轮的迭代才能达到与合理的学习率在更少的迭代轮数上取得相同的效果。我们遇到的主要问题有两个:一个是初始学习率该怎么设置,另一个是在模型训练的过程中学习率该怎样变化才能使得训练的模...原创 2020-01-07 11:06:36 · 3990 阅读 · 2 评论 -
神经网络训练过程中验证集损失小于训练集损失的三大主要原因
相信不少人都发现过,在训练自己搭建的神经网络的过程中,验证集的损失居然会小于训练集(见图1)。按照我个人的理解,理论上讲,验证集的损失应该是不小于训练集的。那么为什么会出现这种违背常规认知的现象呢?图1本文参考网络其他资料,总结了三个主要的原因:1. 在训练的过程中应用了正则化,但是在对验证集计算损失的时候没有采用正则化。比如在损失函数中加入了L1,L2等正则项,...原创 2019-12-31 17:51:18 · 16864 阅读 · 12 评论