(1)当预测类别比较多时,各层测参数应该数量相当,否则会出现一个特征会影响多个类别的情况,出现一对多,模型不好训练。
(2)其实神经网络的本质还是特征提取和空间映射,观察数据的特征和分布是非常有必要的。
(3)attention 在词特征影响比较大的任务中真的有效,如一些翻译或者分类任务。
(4)relu激活适合用在特征维度逐渐减少的层中,并且能增加模型的鲁棒性。
神经网络实验心得(持续更新)
最新推荐文章于 2021-01-04 09:43:05 发布
(1)当预测类别比较多时,各层测参数应该数量相当,否则会出现一个特征会影响多个类别的情况,出现一对多,模型不好训练。
(2)其实神经网络的本质还是特征提取和空间映射,观察数据的特征和分布是非常有必要的。
(3)attention 在词特征影响比较大的任务中真的有效,如一些翻译或者分类任务。
(4)relu激活适合用在特征维度逐渐减少的层中,并且能增加模型的鲁棒性。