suredied的博客

在人工智能算法的实际应用场景中，不可避免地会出现训练数据误标现象，即训练数据集上存在标签噪声。这会降低所训模型的泛化能力。尤其是对于深度神经网络这种描述能力极强的模型，标签噪声对推理精度的影响甚或是灾难性的。论文证实了一个简单的两层网络就能记住所有随机分配的标签。本篇博文将介绍一种对标签噪声鲁棒的损失函数，即General Cross Entropy (GCE)。这种损失函数在2018年的NIPS会议论文中被提出，其集成了Mean Absolute Error (MAE)损失函数的噪声鲁棒性，以及传统的C

学习速率是训练DNN模型的一个关键参数。过大的学习速率设置会导致训练过程不收敛，过小的学习速率会导致收敛速度缓慢。本篇博客将介绍一种现有论文中的学习速率的选取方法。这种方法作为一种最佳实践，也被Fast AI库所采纳。博主的初衷是使用Fast AI所提供的API，便捷地实现这种搜索方法。但在实践过程中却发现Fast AI已经从1.0版本升级到了2.0版本，其很多功能的实现方式发生了变化。之前博主基于Fast AI 1.0所探讨的一些扩展技能都不再适用。有鉴于此，为避免Fast AI版本变更导致的技能点失效