SVM支持向量机数学推导

SVM（Support Vector Machine）支持向量机数学推导

SVM数学推导过程
还会有“感知机”、“SGD”、“聚类”、“Rademacher复杂度”等相关推导，视本篇情况而定要不要整理发布
给定样本： { ( x i , y i ) } i = 1 n 其中： x i ∈ R d ， d 维向量， y i ∈ { + 1 , − 1 } 支持向量机中二分类问题， ± 1 两种标签 分类面表达式： f ( x i ) = ω T x i + b 其中：设样本距离分类面的最小间隔为 a ，则有： { ∀ y i = + 1 , f ( x i ) = ω T x i + b ≥ a ∀ y i = − 1 , f ( x i ) = ω T x i + b ≤ a 可写为： y i ( ω T x i + b ) ≥ a 给定样本：\{ (x_i, y_i) \} ^n _{i=1} \\ 其中：x_i ∈ R^d，d维向量，y_i \in \{ +1,-1 \}支持向量机中二分类问题，±1两种标签 \\ 分类面表达式：f(x_i) = \omega^Tx_i+b\\ 其中：设样本距离分类面的最小间隔为a，则有： \begin {cases} \forall y_i=+1,f(x_i)=\omega^Tx_i+b≥a \\ \forall y_i=-1,f(x_i)=\omega^Tx_i+b≤a \end{cases}\\ 可写为：y_i(\omega^Tx_i+b)≥a\\ 给定样本：{(xi​,yi​)}i=1n​其中：xi​∈Rd，d维向量，yi​∈{ +1,−1}支持向量机中二分类问题，±1两种标签分类面表达式：f(xi​)=ωTxi​+b其中：设样本距离分类面的最小间隔为a，则有：{ ∀yi​=+1,f(xi​)=ωTxi​+b≥a∀yi​=−1,f(xi​)=ωTxi​+b≤a​可写为：yi​(ωTxi​+b)≥a

优化目标：距离分类面最小的样本点（min），间隔最大化（max）
$$\begin{gathered} 样本点到直线分类面的距离：\frac{|{\omega }^T{x}_i+b|}{||\omega ||} \\ 遍历所有样本点，找到最小的样本点到分类面的距离：\underset{1\le i\le n}{\min }\frac{|{\omega }^T{x}_i+b|}{||\omega ||} \\ 将此距离最大化：\underset{\omega ,b}{\max }\underset{1\le i\le n}{\min }\frac{|{\omega }^T{x}_i+b|}{||\omega ||} \end{gathered}$$

max ⁡ ω , b min ⁡ 1 ≤ i ≤ n ∣ ω T x i + b ∣ ∣ ∣ ω ∣ ∣ = max ⁡ ω , b min ⁡ 1 ≤ i ≤ n ∣ ω T x i + b ∣ ∣ ∣ ω ∣ ∣ = max ⁡ ω , b min ⁡ 1 ≤ i ≤ n ∣ ω T x i + b ∣ ∣ ∣ ω ∣ ∣ = max ⁡ ω , b a ∣ ∣ ω ∣ ∣ s . t . y i ( ω T x i + b ) ≥ a , 1 ≤ i ≤ n （ S V M 数学优化模型 0.1 ） ω = a ⋅ ω ^ → = max ⁡ ω ^ , b ^ a ∣ ∣ a ⋅ ω ^ ∣ ∣ s . t . y i ( a ⋅ ω ^ T x i + a ⋅ b ^ ) ≥ a , 1 ≤ i ≤ n = max ⁡ ω ^ , b ^ 1 ∣ ∣ ω ^ ∣ ∣ s . t . y i ( ω ^ T x i + b ^ ) ≥ 1 , 1 ≤ i ≤ n （ S V M 数学优化模型 1.0 ） = min ⁡ ω ^ , b ^ ∣ ∣ ω ^ ∣ ∣ ∣ ∣ ω ^ ∣ ∣ = ω ^ 1 2 + ω ^ 2 2 + ω ^ 3 2 + … … + ω ^ n 2 → = min ⁡ ω ^ , b ^ 1 2 ∣ ∣ ω ^ ∣ ∣ 2 s . t . y i ( ω ^ T x i + b ^ ) ≥ 1 , 1 ≤ i ≤ n （ S V M 数学优化模型 2.0 ） 加入软间隔，引入松弛变量 → = min ⁡ ω ^ , b ^