从数据上提升性能
-
收集更多的数据
-
产生更多的数据
-
对数据做缩放
-
对数据做变换
-
特征选择
-
重新定义问题
从算法上提升性能
-
算法的筛选
-
从文献中学习
从算法调优上提升性能
-
模型可诊断性(判断过拟合还是欠拟合)
-
权重的初始化(0初始化;小随机值初始化;Xavier初始化;He初始化)
-
学习率(学习率衰减)
-
激活函数(ReLU;sigmoid;tanh)
-
网络结构
-
batch和epoch
-
正则项(dropout;L1;L2)
-
优化目标(SGD;Adam)
-
提早结束训练