- 博客(2)
- 收藏
- 关注
RSS订阅原创 半监督学习中的Teacher-Student Module
半监督学习（Semi-Supervised Learning）是一种机器学习范式，旨在利用同时包含有标签数据和无标签数据的数据集进行模型训练。在半监督学习中，有限数量的有标签数据和大量的无标签数据被用于训练模型。半监督学习尝试利用无标签数据中的额外信息来提高模型的性能。半监督学习的目标是利用无标签数据中的潜在结构或分布信息，以提高模型的泛化能力、降低过拟合风险和提高模型的鲁棒性。半监督学习的一种方法就是该方法基于初始的有标签数据训练模型，并使用该模型对无标签数据进行预测，然后将置信度较高的预测结果作为。
2023-11-24 23:29:22
721
原创 什么是知识“蒸馏”？-Teacher-Student模型
在大规模的机器学习任务中，我们通常在训练阶段和部署阶段使用非常相似的模型，尽管它们的要求非常不同：对于语音和对象识别这样的任务，训练时必须从非常大的、高度冗余的数据集中提取信息，并且效果好的模型一般非常复杂，而且可能会使用大量的计算。然而部署模型时是要考虑延迟以及计算资源的。总之就是你训练和部署模型是不同的事，部署模型时就要考虑成本了。所以模型压缩（在保证性能的前提下降低模型的复杂度）就成为了一个重要的问题，而知识蒸馏就是一种模型压缩的方法。
2023-11-22 22:31:52
1159
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人