期刊:ISPRS Journal of Photogrammetry and Remote Sensing
作者:Giorgos M、Jungho I、Caesar O
目录
一、支持向量机原理简介
首先,需要明确:支持向量机(support vector machine,SVM)是一种经典的二分类模型。多分类SVM、回归SVM等都是SVM的变体或应用延伸。
1、问题引入
对于下图两堆数据点,我没有许多可以分割它们的直线(比如黄线、绿线、红线......),如何判断哪条直线的分割效果更好呢?
聪明的科学家们引入了一种“距离”,即所有点到这条线的距离中,最短的距离。用这种距离来衡量分类的效果,自然地可以想到,这个距离越大,分类效果越好。比如,下图中,红线的分类效果比绿线更好。
以上就是支持向量机原理的直觉感受。我们把支持向量机定义为在特征空间上间隔最大的线性分类器。
2、概念定义
3、公式推导——优化目标
4、公式推导——利用拉格朗日乘子法求解参数
5、数学依据(选修)
上一步中涉及一些数学基础,自学时有许多不解,因此再次补充相关知识。
5.1 拉格朗日对偶性 & Slater条件
对偶问题存在一些非常良好的性质,比如:①对偶问题的对偶是原问题;②无论原始问题是否是凸的,对偶问题都是凸优化问题;③对偶问题可以给出原始问题一个下界;④当满足一定条件时,原始问题与对偶问题的解是完全等价的;
5.2 KKT条件
6、软间隔
7、线性支持向量机总结
8、非线性支持向量机——核函数的引入
参考文献:《An Introduction to Support Vector Machines and Other Kernel-Based Learning Methods》Cambridge, U.K.: Cambridge Univ. Press, 1995.
二、支持向量机在遥感中的应用
主要文献参考的是一篇2010年ISPRS上的综述,所以时效有限,仅供初学者参考。
1、技术创新
1.1 分类
① 核函数的创新
② 混合像元的处理
③ 半监督问题
半监督问题的基础知识见:半监督学习_ww的博客 - CSDN博客
④ 特征选择
⑤ 模型集成
包括:堆叠多个SVM[1]-[5],SVM与其他模型集成[6]-[10]
1.2 回归
主要思想是把数据样本与决策边界之间的距离转化成目标函数值。
2、应用领域
2.1 biophysical
应用SVM,结合遥感数据,反演一些生物物理参数。
2.2 land cover
① vegetation / agriculture
② impervious surfaces / urban areas
③ general land use
2.3 others
3、总结
下图是该综述文章的文字总结,字体越大代表在综述中出现的频率越高。