调试神经网络的注意事项和技巧总结（一）

最近在调试神经网络的过程中，遇到了网络不收敛的情况，查阅了很多的相关的资料，根据相关的建议，作出了一些实验，来进行调试，下面这几点是我遇到的几个坑：
1.数据预处理
2. 数据规范化
3.正则化
4.batch size
5.使用了不适当的学习率
6.在最后一层使用了错误的激活函数
7.网络含有不良梯度
8.尝试不同的优化器
9.及时检查结果

首先，对于一个神经网络来说，我们在进行建模的时候，数据是十分重要的，通常情况下，我们在进行解决问题的时候，最开始拿到的数据一般会比较“脏”，这时候，我们需要做数据预处理的工作，否则，如果没有好的数据集，很大的可能性会使我们的神经网络不work，而且，之后我们的设计网络以及调参的工作可能会白做。
1、对于数据来说，我们在做预处理的工作的时候，是主要分为数据清洗、数据集成、数据变换和数据规约这四个方面的。下面会分别进行介绍：
1）数据清洗
在进行数据清洗的时候，我们一般首先需要对我们的数据的总体的情况有一定的了解，而数据清洗又分为，有监督的清洗和无监督的清洗，我们在进行这项工作的时候，一般是先进行无监督的清洗，然后由领域专家来进行有监督的数据清洗，而数据清洗主要是包括数据分析，定义和执行清洗规则，清洗结果验证等步骤；在下面的这个的博客中，有详细的介绍，大家可以进行参考：
参考文献：http://blog.csdn.net/power0405hf/article/details/49644041
2）数据集成
相对来说是比较好理解的，它实际上就是将多个数据源中的数据结合起来并统一存储。
3）数据变换
在进行数据变换的时候，主要是包括规范化，归一化以及标准化等。
4）数据规约(参考文献：https://www.cnblogs.com/Hailong-Said/p/4918547.html)
（1）维归约
删除不相关的属性（维）来减少数据量。
找出最小属性集合，使得数据类的概率分布尽可能地接近使用所有属性的原分布，一般可以通过贪心算法，逐步向前选择