-
激活函数
《深度学习中的激活函数导引》,知乎,(2016):介绍了Sigmoid(tanh)->ReLU->PReLU(RReLU)->ELU 等等不同的激活函数,并阐明其优缺点 -
优化方法
《Adam那么棒,为什么还对SGD念念不忘 (1-3) 》,知乎,(2018):介绍了优化方法的通用框架,SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam
《优化方法总结:SGD,Momentum,AdaGrad,RMSProp,Adam》, -
归一化
《详解深度学习中的Normalization,不只是BN》,知乎,(2018):介绍了Normalization的作用和通用框架,以及主流的方法
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结,CSDN, (2018): 对比介绍几种常用的归一化方式
【深度学习】深度学习的系统总结整理
最新推荐文章于 2024-02-20 08:03:04 发布