神经网络实验心得（持续更新）

（1）当预测类别比较多时，各层测参数应该数量相当，否则会出现一个特征会影响多个类别的情况，出现一对多，模型不好训练。
（2）其实神经网络的本质还是特征提取和空间映射，观察数据的特征和分布是非常有必要的。
（3）attention 在词特征影响比较大的任务中真的有效，如一些翻译或者分类任务。
（4）relu激活适合用在特征维度逐渐减少的层中，并且能增加模型的鲁棒性。