Gradient Descent Optimizations of SVMs: 两种用于优化SVM求解过程中的参数更新的方法——坐标轴下降法（Coordinate Descent）和动量法

作者：禅与计算机程序设计艺术

1.简介

深度学习、计算机视觉、自然语言处理等领域的火热让机器学习技术取得了很大的成功。而支持向量机(Support Vector Machine,SVM)作为一种经典的机器学习分类模型，在分类性能上也备受关注。在过去几年里，针对SVM优化求解中的一些参数，深度学习也出现了大量的研究工作，但是这些优化方法目前还没有被广泛应用到SVM中。

本文将介绍两种用于优化SVM求解过程中的参数更新的方法——坐标轴下降法（Coordinate Descent）和动量法（Momentum），并根据这些方法在实际SVM上的优化实验结果进行阐述，并进一步分析其优劣及局限性。最后给出未来的研究方向和方向性探索。

2.基本概念术语说明

2.1 概念

支持向量机(Support Vector Machine,SVM)是一种基于数据点间的最大间隔线性分类器，可以用于二分类任务或多分类任务。它通过确定最靠近分割面的那些数据点，使得这些数据的“边界”（margin）最大化。分类函数由核函数的形式给出，对原始空间中的输入数据进行非线性映射后得到特征空间中的输出数据，然后通过投影进行超平面划分。

支持向量机最初是用于图像处理的分类模型，随着深度学习的兴起，SVM也越来越流行于文本、声音、图像、视频等领域的机器学习任务。它的提出主要原因之一是它的计算复杂度低，能够有效地处理高维的数据。而且，SVM相比其他机器学习方法的优点之一就是能直接找到“边界”，因此不需要事先知道训练数据所属的类别。

在本文中，我们会以支持向量机作为案例来讨论两种优化SVM求解过程中的参数更新的方法。首先，我们要理解SVM的优化