本文来源于阿里云-云栖社区,原文点击这里。
如果你的神经网络不工作,该怎么办?本文作者列举了搭建神经网络时可能遇到的11个常见问题,包括预处理数据、正则化、学习率、激活函数、网络权重设置等,并提供解决方法和原因解释,是深度学习实践的有用资料。
如果你的神经网络不工作,该怎么办?作者在这里列出了建神经网络时所有可能做错的事情,以及他自己的解决经验。
- 忘记规范化数据
- 忘记检查结果
- 忘记预处理数据
- 忘记使用正则化
- 使用的batch太大
- 使用了不正确的学习率
- 在最后层使用了错误的激活函数
- 你的网络包含了Bad Gradients
- 初始化网络权重不正确
- 你使用的网络太深了
- 使用隐藏单元的数量不对
在使用神经网络时,思考如何正确地规范化数据是非常重要的。这是一个无法改变的步骤——假如这一步骤没有小心、正确地做,你的网络就几乎不可能工作。由于这个步骤非常重要,在深度学习社区中也是众所周知的,所以它很少在论文中被提及,因此初学者常常在这一步出错。
一般来说,规范化(normalization)的意思是:将数据减去均值,再除以其方差。通常这是对每个输入和输出特征单独做的,但你可能经常会希望对特征组做或特别主翼处理某些特征的规范化。