1️⃣单调性约束
2️⃣平滑性约束
3️⃣迁移学习、模型蒸馏(树模型蒸馏给transformer)
4️⃣重要的特征放得离输出近
5️⃣不同性质的特征作为不同的输入头
6️⃣特征交叉
7️⃣样本权重
8️⃣后处理
9️⃣损失函数上也可以加,比如你的任务对边界很敏感,你就可以使用边界敏感的损失函数,来约束网络学习
如何向深度学习模型中加入先验知识❓(快收藏)
最新推荐文章于 2024-04-04 17:50:50 发布
1️⃣单调性约束
2️⃣平滑性约束
3️⃣迁移学习、模型蒸馏(树模型蒸馏给transformer)
4️⃣重要的特征放得离输出近
5️⃣不同性质的特征作为不同的输入头
6️⃣特征交叉
7️⃣样本权重
8️⃣后处理
9️⃣损失函数上也可以加,比如你的任务对边界很敏感,你就可以使用边界敏感的损失函数,来约束网络学习