自监督学习:挖掘数据内在价值的新兴方法
1. 引言
在深度学习领域,监督式学习长期以来一直占据主导地位。然而,随着 自监督学习 (SSL) 方法的出现,我们开始尝试从大量未标注数据中挖掘知识。本文将详细介绍自监督学习的基本概念、主要方法及其在各领域的应用。
2. 自监督学习基本概念
自监督学习(Self-supervised learning) 是一种无监督学习方法,其主要任务是从未标注的数据中学习有用的表示。通过设计一个 预测任务,网络被迫学习到数据的内在结构。这些预测任务通常以数据自身作为监督信号,而不需要人工标注。
自监督学习的一个关键概念是 编码器(Encoder),它将输入数据映射到一个低维表示空间。在训练过程中,编码器通过最小化预测任务的损失函数来学习。