优化
言有三
龙鹏,笔名言有三,先后就读于华中科技大学(2008-2012),中国科学院半导体研究所神经网络实验室(2012-2015),先后就职于奇虎360人工智能研究院(2015.7-2017.5),陌陌科技深度学习实验室(2017.5-2019.3),深度学习算法专家,阿里云MVP,华为云MVP,超过7年的计算机视觉从业经验,拥有丰富的传统图像算法和深度学习计算机视觉项目经验,运营技术公众号《有三AI》,著有书籍《深度学习之图像识别:核心技术与案例实战》,《深度学习之模型设计:核心算法与案例实践》,《深度学习之人脸图像处理:核心算法与案例实战》,《深度学习之摄影图像处理:核心算法与案例精粹》
展开
-
【模型训练】SGD的那些变种,真的比SGD强吗
文章首发于微信公众号《有三AI》 【模型训练】SGD的那些变种,真的比SGD强吗 深度学习框架目前基本上都是使用梯度下降算法及其变种进行优化,通常意义上大家会认为原始的梯度下降算法是最弱的,但事实上并非如此。 很多的论文依然采用了原始的梯度下降算法而不采用更高级的算法,今天就以一个实践例子来给大家展示一下各类算法的比较,所有内容参考文章【An overview of gradient des...原创 2018-12-24 08:38:02 · 1642 阅读 · 0 评论 -
【模型训练】如何选择最适合你的学习率变更策略
文章首发于微信公众号《有三AI》 【模型训练】如何选择最适合你的学习率变更策略 如果让我投票给深度学习中,最不想调试,但又必须要小心调试的参数,毫无疑问会投给学习率,今天就来说说这个。 01项目背景 我们选择了GHIM-10k数据集,这是一个图像检索数据集,包含20个类别,分别是日落,船舶,花卉,建筑物,汽车,山脉,昆虫等自然图像,各个类别拥有较好的多样性,而类别之间也有比较好...原创 2018-12-24 08:38:40 · 985 阅读 · 2 评论