Metric Learning详解（附带NCA算法）

最新推荐文章于 2024-06-06 01:19:18 发布

Leon1895

最新推荐文章于 2024-06-06 01:19:18 发布

阅读量2.2k

点赞数

分类专栏：机器学习文章标签： Metric Learning

本文链接：https://blog.csdn.net/qq_40793975/article/details/87184086

版权

本文详细介绍了度量学习的概念，旨在找到最恰当的距离度量方式。重点探讨了近邻成分分析（NCA）算法，通过最大化留一法（LOO）正确率来优化距离度量矩阵，同时提到了利用'必连'和'勿连'约束进行优化的思路。此外，还指出低秩度量矩阵可用于降维。

摘要由CSDN通过智能技术生成

Metric Learning详解

第四十三次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。

无论在分类还是回归任务中，降维的目的有时是为了选择一个合适的距离度量，如果每个空间都对应了一种距离度量方式，那么求得最适合原始样本空间的低维嵌入可以看做是求得一种最恰当的距离度量方式，这就是“度量学习”（Metric Learning）的目的。
为了对距离度量进行学习，必须有一个便于学习的距离度量表达式，对于两个 $d$ 维样本点 ${\bf{x}}_{i}$ 和 ${\bf{x}}_{j}$ ，他们之间的平方欧氏距离可以写为

$dist^{2}_{ed}({\bf{x}}_{i},{\bf{x}}_{j}) =||{\bf{x}}_{i}-{\bf{x}}_{j}||^{2}_{2}=dist^{2}_{ij,1}+dist^{2}_{ij,2}+\dots+dist^{2}_{ij,d}$

其中， $dist_{ij,k}$ 是样本点 ${\bf{x}}_{i}$ 与 ${\bf{x}}_{j}$ 在第 $k$ 维上的距离，如果每个属性的重要性不同，那么可以引入属性权重 $w$ ，上式可以重新表示为

$dist_{wed}^{2}({\bf{x}}_{i},{\bf{x}}_{j})=||{\bf{x}}_{i}-{\bf{x}}_{j}||^{2}_{\bf{W}} \\ =w_{1}\cdot{dist_{ij,1}^{2}}+w_{2}\cdot{dist_{ij,2}^{2}}+\dots+w_{d}\cdot{dist_{ij,d}^{2}} \\ =({\bf{x}}_{i}-{\bf{x}}_{j})^{T}{\bf{W}}({\bf{x}}_{i}-{\bf{x}}_{j})$