METRIC LEARNING(度量学习)

      度量学习也可以认为是相似度。knn最合适的是学习马氏距离，怎么学？要给出先验知识，哪两个数据更相似，欧式距离不可靠。SVM也是metric learning的一种，因为kernel matrix就是相似度。state of art的metric learning方法LMNN，有代码可以下载。也未必效果最好，用得很多，因为有代码。度量就是相似度，任何方法只要用到相似度，就可以用到度量学习。度量学习主流就是学习马氏距离！(listen to the report of Kaizhu Huang).

      度量学习首篇是Eric Xing在NIPS 2002提出，nannan wang讲现在metric learning基本都是通过子空间学习，就是子空间学习换了个说法，没啥太多实际意义。

先烈一些DML的参考资源，以后有时间再详细谈谈。

1. Wikipedia

2. CMU的Liu Yang总结的关于DML的综述页面。对DML的经典算法进行了分类总结，其中她总结的论文非常有价值，也是我的入门读物。

3. ECCV 2010的turorial。

4. Weinberger的页面，上面有LMNN（Distance Metric Learning for Large Margin Nearest Neighbor Classification）的论文、sclides和代码。

5. ITML(Information Throretic Metric Learning)。ITML是DML的经典算法，获得了ICML 2007的best paper award。sclides。