论文笔记: 度量学习之 ITML (理解ing)

摘要: 分享对论文的理解. 原文见 Jason Davis, Brian Kulis, Suvrit Sra and Inderjit Dhillon, Information-Theoretic Metric Learning, ICML 2007. 只有可怜的 5 页, 但引用达到 2000 余次.

1. 论文贡献

• 证明信息理论度量学习与低轶核学习的等价性

2. 基本符号

符号	含义	说明
${\mathbf{x}}_i\in {\mathbb{R}}^d$	第 $i$ 个对象	默认为列向量
$\mathbf{X}=[{\mathbf{x}}_1{\mathbf{x}}_2\dots {\mathbf{x}}_n]\in {\mathbb{R}}^{d\times n}$	数据矩阵	没有逗号
${\mathbf{K}}_0={\mathbf{X}}^{\mathsf{T}}\mathbf{X}$	Gram 矩阵
$u$	距离上界, 小于它表示相似
$l$	距离下界, 大于它表示相似	$u<l$
$\mathbf{m}\in {\mathbb{R}}^d$	多个高斯分布的均值	为一个向量
y i ∈ { 1 , 2 , … , C } y_i \in \{1, 2, \dots, C\} yi​∈{1,2,…,C}	${\mathbf{x}}_i$ 的标签	不限于二分类
$\mathbf{A}\in {\mathbb{R}}^{d\times d}$	正定矩阵
$Z$	归一化常数
$\mathbf{S}$	相似点对集合
$\mathbf{D}$	不相似点对集合

3. 方案

新的马氏距离为:
KaTeX parse error: Got function '\boldsymbol' with no arguments as subscript at position 3: d_\̲b̲o̲l̲d̲s̲y̲m̲b̲o̲l̲{A}(\boldsymbol…
理解:

• 如果 $\mathbf{A}=\mathbf{I}$, 则退化为欧氏距离.
• 如果 $\mathbf{A}={\mathbf{U}}^{\mathsf{T}}\mathbf{U}$, 那么 KaTeX parse error: Got function '\boldsymbol' with no arguments as subscript at position 3: d_\̲b̲o̲l̲d̲s̲y̲m̲b̲o̲l̲{A}(\boldsymbol…, 与 度量学习之 LMNN 的表达式一致.

多变量高斯的概率密度函数为
KaTeX parse error: Got function '\boldsymbol' with no arguments as subscript at position 91: …-\frac{1}{2} d_\̲b̲o̲l̲d̲s̲y̲m̲b̲o̲l̲{A}(\boldsymbol…

两个马氏度量的距离为
$$\mathrm{KL}(p(\mathbf{x};\mathbf{m},{\mathbf{A}}_1)\Vert p(\mathbf{x};\mathbf{m},{\mathbf{A}}_2))=\int p(\mathbf{x};\mathbf{m},{\mathbf{A}}_1)\log \frac{p(\mathbf{x};\mathbf{m},{\mathbf{A}}_1)}{p(\mathbf{x};\mathbf{m},{\mathbf{A}}_2)}\mathrm{d}\mathbf{x}\text{\hspace{1em}(3)}$$

优化目标为:
KaTeX parse error: Got function '\boldsymbol' with no arguments as subscript at position 168: …bject to } & d_\̲b̲o̲l̲d̲s̲y̲m̲b̲o̲l̲{A}(\boldsymbol…

解释:

• 这里使用了 KL 散度.

疑问:

• (3) 式的积分表示什么? 对整个数据集的对象? 如果是这样, 右边是否应将 $\mathbf{x}$ 改为 ${\mathbf{x}}_i$?
• (4) 式中的 $\mathbf{S}$ 和 $\mathbf{D}$ 是指从数据集中可以构造的所有相似点/不相似点对的集合, 还是部分?

理论证明与算法还没弄会.

4. 小结

继续努力!