支持向量机

---

第一章 简介

1.1 支持向量机的发展史

        支持向量机（Support Vector Machine, SVM）是一种强大的机器学习算法，具有广泛的应用和深厚的理论基础。以下是支持向量机的发展史概述：

1. 发展初期
   1960年代末至1970年代初，Vladimir Vapnik 和 Alexey Chervonenkis 开始研究模式识别理论，为支持向量机的理论奠定了基础。
   1980年代，Vapnik 等人在苏联开发了结构风险最小化理论，这是支持向量机理论的关键组成部分。
   1992年，Vapnik 和 Corinna Cortes 提出了现代支持向量机的基本算法。
2. 理论建立与算法发展
   1995年，Vapnik 和 Cortes 发表了经典的支持向量机论文，介绍了线性支持向量机和核方法。
   这些年代是支持向量机理论和算法成熟的时期，包括间隔最大化、核方法以及正则化理论的进展。
3. 广泛应用与优化技术
   2000年后，随着计算机算力的增强和机器学习研究的兴起，支持向量机被广泛应用于模式识别、数据挖掘、生物信息学等领域。
   2010年后，随着深度学习的兴起，支持向量机仍然是许多非线性分类和回归问题的重要工具，尤其在小样本学习和解释性强的场景中表现突出。
   支持向量机的算法和理论在优化技术、核函数设计、并行计算等方面不断进行优化和拓展，以适应大规模数据和复杂模型的需求。

1.2 预备知识

1.2.1 向量的定义与几何表示

        在数学中，我们把既有大小又有方向的量称为向量(矢量)(vector)，而把只有大小没有方向的量称为数量(标量)。由于数量可以用实数表示，而实数与数轴上的点一一对应，所以数量可以用数轴上的点表示，不同点表示不同数量。有向线段$\overrightarrow{AB}$的长度可以表示向量的大小，有向线段的方向可以表示向量的方向，因此向量可以用有向线段来直观表示。一般向量的大小称为向量的模，记作$|\overrightarrow{AB}|$。长度为0的向量称为零向量，长度为1的向量称为单位向量。

1.2.2 向量坐标与点坐标之间的关系

        在平面直角坐标系中，设与x轴、y轴方向相同的两个单位向量分别为$\vec{i}$，$\vec{j}$，则对平面内任意一个向量，由平面向量基本定理可知，有且只有一对实数$x$，$y$，使得
$$\vec{a}=x\vec{i}+y\vec{j}$$
这样，平面内的任意向量$\overrightarrow{a}$都可以用x，y唯一确定，我们把有序数对称为向量$\vec{a}$的坐标，记为
$$\vec{a}=（x，y）$$
        设$\overrightarrow{OA}=x\vec{i}+y\vec{j}$，其中O表示平面直角坐标系中的坐标原点，则向量$\overrightarrow{OA}$的坐标(x，y)就是终点A的坐标，反之，终点A的坐标就是向量$\overrightarrow{OA}$的坐标。这样就建立了向量坐标与点坐标之间的关系。

1.2.3 向量的模与方向

        假设向量${\vec{a}}^T=(x，y)$，则向量${\vec{a}}^T$的模为:
$$||{\vec{a}}^T||=\sqrt{x^2+y^2}$$
        ${\vec{a}}^T$的方向为：
$${\vec{z}}^T=(\frac{x}{||\vec{a}||}，\frac{y}{||\vec{a}||})$$

1.2.4 超平面定义

        在几何数学中，超平面是指n维空间中一个n−1维的子空间。通常用如下方程表达：
$$w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b={\vec{w}}^T\vec{x}+b=0$$
其中，${\vec{w}}^T=(w_1，w_2，\cdots ，w_n)$ 表示超平面的法向量，$b$ 表示超平面偏移量，${\vec{x}}^T=(x_1，x_2，\cdots ，x_n)$ 表示空间中的数据点。

1.2.5 点与超平面的关系

        点与超平面的关系有三种：点在超平面上，点在超平面正侧和点在超平面负侧。点与超平面的关系可以通过计算将点带入平面方程来确定，该值的符号可以表示点相对超平面的位置。

1. 点在超平面上：如果${\vec{w}}^T\vec{x}+b=0$，则点$\vec{x}$位于超平面上。
2. 点在超平面正侧：如果${\vec{w}}^T\vec{x}+b>0$，则点$\vec{x}$位于超平面法向量${\vec{w}}^T$指向的一侧。
3. 点在超平面负侧：如果${\vec{w}}^T\vec{x}+b<0$，则点$\vec{x}$位于超平面法向量${\vec{w}}^T$指向的反方向一侧。

        例 1.2.1 在平面直角坐标系中，假定一个 ${\vec{w}}^T=(0.625，1)$ 和 $b=-8.25$ 的超平面，即$0.625x+y-8.25=0$ 该超平面如图 1-1 所示。

图1-1 超平面分离数据

将点$(2，7)$代入直线方程，可得$0.625\times 2+7-8.25=0$，因此点在直线上。
将点$(7，9)$代入直线方程，可得$0.625\times 7+9-8.25=5.125>0$，因此点在直线正侧。
将点$(3，3)$代入直线方程，可得$0.625\times 3+3-8.25=-3.375<0$，因此点在直线负侧。

1.2.6 最优化分析方法

1.2.6.1 凸集定义

        如果 $\forall x_1，x_2\in A\subset {\mathbb{R}}^n$，并对任意的 $\theta \in [0,1]$，都有
$$\theta x_1+(1-\theta )x_2\in A$$
则称集合 $A$ 是凸集。

1.2.6.2 凸函数定义

        设一个 $n$ 元实函数 $f(x)$，$x\in A\subset {\mathbb{R}}^n$，$A$ 是非空凸集，如果 $\forall x_1，x_2\in A$，并对任意的 $\theta \in [0,1]$，有
$$f(\theta x_1+(1-\theta x_2))\le \theta f(x_1)+(1-\theta )f(x_2)$$
则称函数 $f(x)$ 是凸函数。若上式严格不等，则称函数 $f(x)$ 是严格凸函数。

1.2.6.3 无约束极值的分析方法

        求解最优化问题的第一个一般性的分析方法是Fermat提出的，他给出了无约束优化问题的极值点应满足的必要条件。
        定理 1.2.1(Fermat定理)  设 $f(x)$ 为一个 $n$ 元函数，$x=(x_1，x_2，\cdots ，x_n{)}^T\in A\subseteq {\mathbb{R}}^n$，如果 $x^{\ast }$ 是函数 $f$ 的一个极值点，且函数在 $x^{\ast }$ 处连续可微，则在 $x^{\ast }$ 上有
$$f_x^{{}^{\prime }}(x^{\ast })=0\text{\hspace{1em}(1-1)}$$
分析：该定理证明可以使用反证法，首先假设 $x^{\ast }$ 是局部极小值，但梯度 $f_x^{{}^{\prime }}(x^{\ast })\ne 0$，如果能找到一个方向 $d$，使得在这个方向上，函数值是下降。很显然，函数在负梯度方向是下降的，那么我们就证明了 $x^{\ast }$ 不是局部极小值。

证明：
        假定 $f_x^{{}^{\prime }}(x^{\ast })\ne 0$，则 $\exists d\in {\mathbb{R}}^n$，使得 $d^T{f}_x^{{}^{\prime }}(x^{\ast })<0$，例如， $d=-f_x^{{}^{\prime }}(x^{\ast })$。由 $f_x^{{}^{\prime }}(x)$的连续性可知，$\exists \delta >0$，使得
$$d^T{f}_x^{{}^{\prime }}(x^{\ast }+\alpha d)<0，\alpha \in (0，\delta ]$$
由中值定理¹可知，对 $\forall {\alpha }_1\in (0，\delta ]$，$\exists \alpha \in (0，{\alpha }_1)$，使
$$f(x^{\ast }+{\alpha }_{1}d)=f(x^{\ast })+{\alpha }_1{d}^T{f}_x^{{}^{\prime }}(x^{\ast }+\alpha d)$$
因此，$f(x^{\ast }+{\alpha }_{1}d)<f(x^{\ast })$，即 $x^{\ast }$ 不是 $f(x)$的局部极小值点，与原命题矛盾。
        这个定理给出了局部最优解的必要条件，运用这个定理须求解 $n$ 个联立的方程：
$$\frac{\partial f}{\partial x_i}=0，i=1,2,\dots ,n$$
要求得全局最优解，应将所得的各极小值或极大值与函数奇异点²及边界点的值进行比较，取其最小或最大值对应的 $x$ 作为全局最优解。
注1：
        定理 1.2.2(Lagrange中值定理)  若函数 $f$ 满足如下条件：
        (i) $f$ 在闭区间 $[a，b]$ 上连续；
        (ii) $f$ 在开区间 $(a，b)$ 上可导，
则在 $(a，b)$ 上至少存在一点 $\xi$，使得
$$f^{{}^{\prime }}(\xi )=\frac{f(b)-f(a)}{b-a}$$
注2：函数奇异点通常指函数在某些点处不连续、不可导或者函数值趋向无穷大的点。

1.2.6.4 等式约束条件极值的分析方法

        Lagrange 给出了在等式约束下求解函数极值点的分析方法原理，它利用数学上的概念与技巧，将等式约束下的条件极值问题转化为无约束的极值问题。条件极值问题可以描述为：
$$\{\begin{array}{l}f(x)\\ s.t.h_k(x)=0,k=1,2,\dots ,l\end{array}$$
上述条件极值问题可以归结为求下面的辅助函数的极值：
$$L(x,{\lambda }_0,\lambda )={\lambda }_{0}f(x)+\sum _{k=1}^l{\lambda }_k{h}_k(x)\text{\hspace{1em}(1-2)}$$
式中，$L(\cdot )$ 称为 Lagrange 函数，${\lambda }_i(i=0,1,\cdots ,l)$ 称为 Lagrange 乘子。
        定理 1.2.2(Lagrange定理)  对于上述优化问题 (1-2)，令 $x=(x_1,x_2,\cdots ,x_n{)}^T\in {\mathbb{R}}^n$，设函数 $f(x)$， $h_k(x)（k=1,\cdots ,l）$ 在点 $x^{\ast }$ 处可微。若 $x^{\ast }$ 是 $f(x)$ 的一个条件极值点，则存在不全为零的 Lagrange 乘子³ ${\lambda }_0$ 和 ${\lambda }^{\ast }=({\lambda }_1^{\ast }，{\lambda }_2^{\ast }，\cdots ，{\lambda }_l^{\ast })$，使得下列条件成立：
$$L_{x_i}^{{}^{\prime }}(x^{\ast },{\lambda }_0^{\ast },{\lambda }^{\ast })=0，i=1，2，\cdots ，n\text{\hspace{1em}(1-3)}$$
$$L_{{\lambda }_i}^{{}^{\prime }}(x^{\ast },{\lambda }_0^{\ast },{\lambda }^{\ast })=0，i=1，2，\cdots ，l\text{\hspace{1em}(1-4)}$$
为了使 ${\lambda }_0\ne 0$，充要条件是 $l$ 个矢量
$$\frac{\partial h_1}{x}，\frac{\partial h_2}{x}，\cdots ，\frac{\partial h_l}{x}$$
在点 $f(x)$ 上是线性无关的。
        由式(1-3)可以产生 $n$ 个新方程，式(1-4)可以产生 $l$ 个方程，显然运用上述定理，需要求解含 $n+l+1$ 个未知数的方程。
        在 ${\lambda }_0\ne 0$ 下，不妨取 ${\lambda }_0=1$，这相当于其余的Lagrange乘子都要乘以一个银子，这不影响问题的解，在这种情况下，问题变为求解下面 $n+l$ 个方程的方程组。
注3：这意味着目标函数的梯度可以表示为各个约束条件梯度的线性组合。
        例 1.2.2 假设有以下约束优化问题：
$$\begin{gathered} \underset{x,y}{\min }f(x,y)=x^2+y^2 \\ s.t.g(x,y)=x+y-1=0 \end{gathered}$$

图1-2 约束优化问题的几何表示

        从图1-2可以看出，目标函数和条件等式约束在极值点处梯度共线，即 $\nabla f(x)=\lambda \nabla g(x)$。
解：
        目标函数梯度为：
$$\nabla f(x,y)=(\frac{\partial f}{\partial x}，\frac{\partial f}{\partial y})=(2x，2y)$$
        约束条件梯度为：
$$\nabla g(x,y)=(\frac{\partial g}{\partial x}，\frac{\partial g}{\partial y})=(1，1)$$
        由于目标函数梯度与约束条件梯度在极值点处共线，则
$$\{\begin{array}{l}2x=\lambda \\ 2y=\lambda \\ x+y-1=0\end{array}$$
        通过代入法可得，该约束函数的极值点在(0.5，0.5)。

1.2.6.5 不等式约束条件极值的分析方法

        Lagrange乘数法是用于求解等式约束的最优化方法，下面给出不等式约束的条件极值问题的求解方法。同时给出不等式约束下凸函数条件极值的充分条件。
        设 $A$ 是线性空间的一个 $n$ 维非空开集，$f(x)$，$g_k(x)（k=1，2，\dots ，m）$是定义在 $A$ 上的 $m+1$ 个函数。极小化函数
$$\min f(x)\text{\hspace{1em}(1-5)}$$
约束条件为
$$\begin{gathered} s.t.x\in A \\ {g}_k(x)\le 0，k=1，2，\dots ，m\text{\hspace{1em}(1-6)} \end{gathered}$$
这个优化问题的可行域是
S = { x ∣ g k ( x ) ≤ 0 ， k = 1 ， 2 ， … ， m } ⊆ A S = \{\pmb{x} | g_k(\pmb{x}) \leq 0，k=1，2，\dots，m\} \subseteq {A} S={x∣gk​(x)≤0，k=1，2，…，m}⊆A
        若上述优化问题的一个可行解 $\overline{x}$ 使某个不等式约束 $g_k(x)\le 0$，即 $g_k(\overline{x})=0$，则该不等式约束称为关于 $\overline{x}$ 的紧约束或者起作用约束，否则称其为松约束或不起作用约束。
        对于不等式约束下函数的极小化问题，仍考虑Lagrange函数
$$L(x，{\lambda }_0，\lambda )={\lambda }_{0}f(x)+\sum _{k=1}^m{\lambda }_k{g}_k(x)$$
        定理 1.2.3(Fritz John定理)  如果 $x^{\ast }$ 在满足式 (1-6) 的条件下极小化函数 $f(x)$，若 $f(x)$，$g_k(x)$，$k=1，2，\cdots ，m$，在点 $x^{\ast }$ 处可微，则存在不全为零的Lagrange乘子 ${\lambda }_k^{\ast }（k=0，1，\cdots ，m）$，使下列三个条件成立：
（1）极值条件
$${\lambda }_0^{\ast }\nabla f(x^{\ast })+\sum _{k=1}^m{\lambda }_k^{\ast }\nabla g_k(x^{\ast })=0$$
（2）非负条件
$${\lambda }_k^{\ast }\ge 0，k=0，1，\cdots ，m$$
（3）互补松弛条件
$${\lambda }_k^{\ast }{g}_k(x^{\ast })=0，k=0，1，\cdots ，m$$
        ${\lambda }_k^{\ast }（k=0，1，\cdots ，m）$不全为零及(2)、（3）表明：对于约束 $g_k(x)\le 0$，若 $g_k(x)<0$，则 ${\lambda }_k^{\ast }=0$；若 $g_k(x)=0$，则 ${\lambda }_k^{\ast }\ge 0$。这表明，极值点只能在两类位置上，要么在松约束的可行区域的内部，要么在紧约束定义的边界上。

第二章 支持向量机

2.1 模型构建

2.2.1 分类问题提出

       在为完全确诊某些疾病的检查中，有些检查可能是十分昂贵的，或者是创伤性的。因此，利用一些有关的容易获得的临床指标进行辅助性的推断是一项有意义的工作。美国Cleveland Heart Disease Database提供的数据(Heart Disease数据集下载地址)可以用作对心脏病进行辅助性诊断的基础。该数据包括了303个病人信息。事实上，该数据不仅记录了这些病人的血压(低压)、胆固醇等13项与心脏病有关的指标，而且还记录了这些病人是否患有心脏病的确证结论，这里的确诊并非完全根据13项指标做出的，而是利用其他手段。现在的问题是如何根据这一数据对新来的病人只通过检测这13项指标，就推断该病人是否患有心脏病。;很显然，推断病人是否患有心脏病是分类问题，也称模式识别问题，在统计学习中，称为判别分析问题。
       为了叙述方便，我们对上述问题加以简化，得到下面示意性的例子：
       例 2.1.1 假定是否患有心脏病与病人血压和胆固醇水平密切相关，表2-1列出了10个病人的临床数据，其中x1表示病人血压水平，x2表示病人胆固醇水平，y表示病人所属类别标记：y=1表示病人有心脏病；y=-1表示病人无心脏病。

表 2-1 心脏病诊断数据集

病人编号	血压 x1	胆固醇水平 x2	是否有心脏病 y
1	73	150	-1
2	85	165	-1
...	...	...	...
10	110	190	1

       现在的问题是，对新来的病人，已测得他的血压x1和胆固醇水平x2，试推断他是否患有心脏病，即y=1或y=-1？

2.2.2 分类问题分析

        要解决上一节的问题，需将表2-1的数据绘制在平面直角坐标系中，用直角坐标系的点来表示每个病人，点的位置由病人的两个指标来确定，病人是否患有心脏病由点的形状来确定，当y=1时，用"+"形点；当y=-1时，用"o"形点，具体如图2-1所示。

图2-1 心脏病辅助诊断数据坐标表示

        针对上述问题，一个很自然的思路是建立$\vec{x}$与y的关系。通过分析问题的值域，可以发现符号函数的值域与问题的值域相符。符号函数的表达式如下：
$$sgn(t)=\{\begin{array}{ll}1，& t>0\\ 0，& t=0\\ -1，& t<0\end{array}$$
显然，仅凭符号函数无法完全建立$\vec{x}$与y的关系，因此还需要引入另外一种关系来共同构建$\vec{x}$与y的关系。通过分析符号函数的定义域可以发现，若再引入点与超平面的关系就可以完全解决该类问题，具体表达式如下：
$$y=sgn({\vec{w}}^T\vec{x}+b)=\{\begin{array}{ll}1，& {\vec{w}}^T\vec{x}+b>0\\ 0，& {\vec{w}}^T\vec{x}+b=0\\ -1，& {\vec{w}}^T\vec{x}+b<0\end{array}$$

2.2.3 分类问题分析

        在上一小节中，我们讨论了如何找到一个可以对线性可分数据进行分类的超平面。在实际应用上，对于给定的训练数据，往往存在多个可以用来分类的超平面。因此，我们需要一个标准来选择这些超平面中最优的一个超平面。
        由于最近点与超平面的距离和超平面是一一对应的，即一个超平面只有一个最近点，所以我们可以通过最近点到超平面的距离来给超平面排序。给定一个训练集 D = { ( x i ， y i ) ∣ x i ∈ R n ， y i ∈ { − 1 ， 1 } } \mathcal{D}=\{(x_i，y_i)|x_i \in \mathcal{R^n}， y_i \in \{-1，1\}\} D={(xi​，yi​)∣xi​∈Rn，yi​∈{−1，1}}，计算每个训练样本到超平面的距离${\beta }_i$，定义 $B$ 为这些距离中的最小值，即：
$$B=\underset{i=1,\cdots ,m}{\min }{\beta }_i\text{\hspace{1em}(2-1)}$$
        假设有 $k$ 个不同的超平面，我们希望选择一个最大的 $B$，即找到一个使得最小距离最大的超平面，具体表达式如下：
$$\underset{j=1,\cdots ,k}{\max }\underset{i=1,\cdots ,m}{\min }{\beta }_i\text{\hspace{1em}(2-2)}$$
        使用方程的返回值来定义点到超平面的距离有其局限性，特别是在返回值为负数的情况下。当超平面方程的返回值为负数时，选择最小值来表示最近点到划分超平面的距离会出现误差。例如，对于 $\beta =-5$ 和 $\beta =-1$ 的两个点，选择最小值 $\beta =-5$ 其实并不合适，因为 $\beta =-1$ 更接近超平面。为了修正这个问题，我们考虑取$\beta$的绝对值，则表达式可表述为：
$$\underset{j=1,\cdots ,k}{\max }\underset{i=1,\cdots ,m}{\min }|{\beta }_i|$$
        同样 $B$ 的选择也有其局限性，具体情况如下图所示：

图 a 划分超平面1	图 b 划分超平面2

        通过上图可以看出，这两个超平面的 $B$ 值都是 $2$，现在的问题是我们不知道哪个超平面的划分结果是正确的。遇到这种情况，我们需要调整公式来选择最优的超平面。在训练数据$\overrightarrow{x_i}=(x_i，y_i)$中，我们没有使用 $y_i$，如果我们用 ${\beta }_i$ 乘以 $y_i$，则表达式如下：
$$\widehat{{\gamma }_i}=y_i({\vec{w}}^T\overrightarrow{x_i}+b)\text{\hspace{1em}(2-3)}$$
其中，$\widehat{{\gamma }_i}$ 为函数间隔。
注意：对于线性可分训练集来说，函数间隔的值都是正值，这意味着点 $\overrightarrow{x_i}$ 被正确分类。
        看起来这次我们找到了一个好的方法来比较两个超平面。然而，函数间隔存在一个很严重的问题：缺少比率不变性。例如，给定一个法向量 $w_1=(2，1)$ 和偏置 $b_1=5$，如果我们用10乘以它们，则 $w_1=(2，1)$ 和偏置 $b_1=5$。实际上这两个超平面是同一个超平面，因为它们的单位向量相同(超平面与向量$w_1$正交，不用关心它的长度，重要的是它的方法)。
        解决上述问题，我们只需要做一个小小的调整，用单位向量代替向量 $\vec{w}$ ，同时用 $||\vec{w}||$ 保持比率不变性，则表达式可写为：
$${\gamma }_i=y_i(\frac{{\vec{w}}^T}{||\vec{w}||}\overrightarrow{x_i}+\frac{b}{||\vec{w}||})\text{\hspace{1em}(2-4)}$$
${\gamma }_i$ 的优点在于它能给我们一个相同的数，而不用考虑向量 $\vec{w}$ 的取值，我们称 ${\gamma }_i$ 为示例的几何间隔。

2.2.4 支持向量机模型

        给定一个线性可分数据集 D = { ( x i ， y i ) ∣ x i ∈ R n ， y i ∈ { − 1 ， 1 } } \mathcal{D}=\{(x_i，y_i)|x_i \in \mathcal{R^n}， y_i \in \{-1，1\}\} D={(xi​，yi​)∣xi​∈Rn，yi​∈{−1，1}}，一个法向量 $\vec{w}$ 和偏置 $b$ ，则记 $M$ 为示例的最小几何间隔。
$$M=\underset{i=1,\dots ,m}{\min }{\gamma }_i=\underset{i=1,\dots ,m}{\min }{y}_i(\frac{{\vec{w}}^T}{||\vec{w}||}\overrightarrow{x_i}+\frac{b}{||\vec{w}||})\text{\hspace{1em}(2-5)}$$
通过公式 2-2 可知，SVM 优化问题可以写成下面形式：
$$\begin{gathered} \underset{\vec{w},b}{\max }M \\ s.t.{\gamma }_i\ge M，i=1,\cdots ,m\text{\hspace{1em}(2-6)} \end{gathered}$$
这个约束条件保证了每个样本点的几何间隔只少为 $M$，即数据集 $\mathcal{D}$ 是线性可分的，具体来说：

1. 正样本($y_i=1$)：对于正样本，这个条件就变为 ${\vec{w}}^T\overrightarrow{x_i}+b\ge M||\vec{w}||$。这确保了正样本在超平面的正侧，并且距离超平面至少为 $M$。
2. 负样本($y_i=-1$)：对于负样本，这个条件就变为 ${\vec{w}}^T\overrightarrow{x_i}+b\le -M||\vec{w}||$。这确保了负样本在超平面负侧，并且距离超平面至少为 $M$。

        根据比率不变性，我们可以令 $M||\vec{w}||=1$，原优化问题的约束条件依然不变(数据线性可分)，简化后的方程如下：
$$\begin{gathered} \underset{\vec{w},b}{\max }\frac{1}{||\vec{w}||} \\ s.t.y_i({\vec{w}}^T\overrightarrow{x_i}+b)\ge 1，i=1,\cdots ,m \end{gathered}$$
在运筹学中，一般将最大值优化问题转化最小值优化问题，即
$$\begin{gathered} \underset{\vec{w},b}{\min }\frac{1}{2}||\vec{w}|{|}^2 \\ s.t.y_i({\vec{w}}^T\overrightarrow{x_i}+b)-1\ge 0，i=1,\cdots ,m\text{\hspace{1em}(2-7)} \end{gathered}$$
其中，目标函数乘以 $\frac{1}{2}$ 为了简化优化过程。

2.2.5 模型求解

第三章 应用与实践

第四章 算法评估

参考文献

---

1. ↩︎

2. ↩︎

3. ↩︎