调参知识收集

模型调参知识积累中…：
在吴恩达讲解基础上再进一步

学习速率退火，步衰减
http://www.sohu.com/a/224777308_129720
带有重启的随机梯度下降

这篇文章提到模型调参
https://blog.csdn.net/thormas1996/article/details/81741553

模型比较
https://www.leiphone.com/news/201608/WosBbsYqyfwcDNa4.html

神经网络中激活函数的比较
https://blog.csdn.net/lilu916/article/details/77822309

sigmoid的偏导数＜0.25，越往后的神经元层高阶的乘积越小，即梯度消失问题，因此提出tanh，但tanh依然存在梯度消失问题。relu的求偏导数更简单，学习速率明显提高，计算压力也小。下面文章详细提到了这个问题：
http://www.cnblogs.com/willnote/p/6912798.html