深度学习
ShuqiaoS
这个作者很懒,什么都没留下…
展开
-
谁挡了我的神经网络?(二)—— 优化算法
谁挡了我的神经网络?(二)—— 优化算法这一系列文章介绍了在神经网络的设计和训练过程中,可能提升网络效果的一些小技巧。前文介绍了在训练过程中的一系列经验,这篇文章将重点关注其中的优化算法部分。更新于2018.11.1。文章目录谁挡了我的神经网络?(二)—— 优化算法前言Adam参数什么是Adam算法Adam的工作原理Adam的有效性参考文献前言在训练的过程中,选择的优化算法是否合适,很大程...原创 2018-11-01 17:44:10 · 445 阅读 · 0 评论 -
谁挡了我的神经网络?(三)—— 激活函数
谁挡了我的神经网络?(三)—— 激活函数这一系列文章介绍了在神经网络的设计和训练过程中,可能提升网络效果的一些小技巧。前文介绍了在训练过程中的一系列经验,这篇文章将重点关注其中的激活函数部分。更新于2018.11.1。文章目录谁挡了我的神经网络?(三)—— 激活函数介绍参考文献介绍激活函数(activation function)是指放在层与层之间,使得网络的输出控制在某一个范围内的函数,...原创 2018-11-01 18:29:39 · 317 阅读 · 0 评论 -
谁挡了我的神经网络?(一)—— 如何在训练中得到更好的结果
谁挡了我的神经网络?—— 如何得到更好的结果博主最近在尝试训练自己新设计的神经网络,但是网络收敛到的损失并不让人满意。于是,博主决定在这里记录下在尝试让网络收敛得更好的过程中,成功与失败的经验(包括实验)。更新于2018.10.26。写在前面的话:虽然有各种各样会影响网络收敛效果的因素,但归根结底还是需要通过实验来检验想法的正确性。可以在实验过程中通过修改迭代次数、随机Seed、超参数(如...原创 2018-11-01 18:32:13 · 5142 阅读 · 1 评论