sheng的学习笔记-AI-半监督SVM

AI目录：sheng的学习笔记-AI目录-CSDN博客

svm: sheng的学习笔记-AI-支持向量机（SVM）-CSDN博客

半监督学习： sheng的学习笔记-AI-半监督学习-CSDN博客

什么是半监督svm

半监督支持向量机（Semi-Supervised Support Vector Machine,简称S3VM）是支持向量机在半监督学习上的推广。

在不考虑未标记样本时，支持向量机试图找到最大间隔划分超平面，而在考虑未标记样本后，S3VM试图找到能将两类有标记样本分开，且穿过数据低密度区域的划分超平面，如图13.3所示，这里的基本假设是“低密度分隔”(low-density separation)，显然，这是聚类假设在考虑了线性超平面划分后的推广

TSVM

半监督支持向量机中最著名的是TSVM(Transductive Support Vector Machine)，TSVM是针对二分类的方法。

流程：

• 尝试将每个未标记样本分别作为正例或者反例。
• 然后在所有这些结果中，寻求一个在所有样本（包括有标记样本和进行了标记指派的未标记样本）上间隔最大化的划分超平面。
• 一旦划分超平面得以确定，未标记样本的最终标记指派就是其预测结果。

显然，尝试未标记样本的各种标记指派是一个穷举过程，仅当未标记样本很少时才有可能直接求解。在一般情形下，必须考虑更高效的优化策略

优化策略

TSVM采用局部搜索来迭代地寻找式的近似解

算法

 

在 TSVM 算法中，寻找标记指派可能出错的每一对未标记样本进行调整，这是一个涉及巨大计算开销的大规模优化问题。

• 在论文《Large Scale Transductive SVMs》 中，约 2000 个未标记样本，原始TVSM 迭代收敛大约需要 1个小时。
• 半监督SVM研究的一个重点是如何设计出高效的优化求解策略。由此发展成很多方法，如基于图核函数梯度下降的LDS算法，基于标记均值估计的meanS3VM算法等。

参考文章：

https://www.bookstack.cn/read/Vay-keen-Machine-learning-learning-notes/spilt.2.14.md

12.半监督学习 - 二、半监督 SVM - 《AI算法工程师手册》 - 书栈网 · BookStack