第一版,主要介绍算法的大概流程。细节推导等我写纸上再拍张上传。主要基于统计学习方法这本书。
SMO算法看了好长时间,大体看了看推导特别多,遂想直接看代码,但是代码是基于数学公式,于是重新回去看了看,发现推导其实不是很复杂,先了解整个算法的流程,然后再仔细的看每一块的推导。
SMO算法的目的就是要求出所有的a(alpha),然后根据a去求W和b。但是由于a的数量繁多,想达到一起全部求出最优值还是挺麻烦的,因此:选取两个a作为变量,其他的看做是常数。然后在两个变量的基础上进行优化。以此类推,直到所有的a优化后,达到要求。要求就是KKT条件。KKT条件和目标是充分必要的关系。