807补充（八）（多元函数极值篇）

807补充（八）（多元函数极值篇）

一.$\text{ 可微多变量函数 }f(\mathbf{x})\text{ 的极值点 }$

考虑以实向量 $\mathbf{x}={\left[x_1,\cdots ,x_n\right]}^{\mathrm{T}}$ 作变元的实值函数 $f(\mathbf{x}):{\mathbb{R}}^n\to \mathbb{R}$ 的无约束极小化问题
$$\underset{\mathbf{x}\in S}{\min }f(\mathbf{x})\text{\hspace{1em}(1.1)}$$

式中 $S\in {\mathbb{R}}^n$ 是 $n$ 维向量空间 ${\mathbb{R}}^n$ 的一个子集合.

定义: 给定一个点 $\overline{\mathbf{x}}\in {\mathbb{R}}^n$, 点 $\overline{\mathbf{x}}$ 的一 (闭合) 邻域记作 $B(\overline{\mathbf{x}};r)$, 是满足 $\Vert \mathbf{x}-$ $\overline{\mathbf{x}}{\Vert }_2⩽r$ (其中 $r>0$ ) 的所有点 $\mathbf{x}$ 的集合, 即
B ( x ‾ ; r ) = { x ∣ ∥ x − x ‾ ∥ 2 ⩽ r } B(\overline{\boldsymbol{x}} ; r)=\left\{\boldsymbol{x} \mid\|\boldsymbol{x}-\overline{\boldsymbol{x}}\|_2 \leqslant r\right\} B(x;r)={x∣∥x−x∥2​⩽r}

令 $\mathbf{c}={\left[c_1,\cdots ,c_n\right]}^{\mathrm{T}}$ 是向量空间 ${\mathbb{R}}^n$ 内的一个点, 且 $r$ 为某个正数。向量空间 ${\mathbb{R}}^n$ 内与点 $\mathbf{c}$ 的距离 $\Vert \mathbf{x}-\mathbf{c}{\Vert }_2$ 小于 $r$ 的所有向量 $\mathbf{x}$ 的集合称作以 $\mathbf{c}$ 为中心, $r$ 为半径的 $n$ 维球体 $(n$-ball), 记为 $B(c;r)$ 或者 $B(c)$, 即有
B ( c ; r ) = { x ∣ x ∈ R n , ∥ x − c ∥ 2 < r } B(\boldsymbol{c} ; r)=\left\{\boldsymbol{x} \mid \boldsymbol{x} \in \mathbb{R}^n,\|\boldsymbol{x}-\boldsymbol{c}\|_2<r\right\} B(c;r)={x∣x∈Rn,∥x−c∥2​<r}
$n$ 维球体 $B(\mathbf{c};r)$ 也称向量 $\mathbf{c}$ 的邻域。
令 $\Delta \mathbf{x}=\mathbf{x}-\mathbf{c}$, 则在半径 $r$ 足够小的邻域 $B(\mathbf{c};r)$ 内, 实变函数 $f(\mathbf{x})$ 在点 $\mathbf{c}$ 的二阶 Taylor 级数逼近为
$$\begin{array}{rl}f(\mathbf{c}+\Delta \mathbf{x})& =f(\mathbf{c})+{\left(\frac{\partial f(\mathbf{c})}{\partial \mathbf{c}}\right)}^{\mathrm{T}}\Delta \mathbf{x}+\frac{1}{2}(\Delta \mathbf{c}{)}^{\mathrm{T}}\frac{{\partial }^{2}f(\mathbf{c})}{\partial \mathbf{c}\partial {\mathbf{c}}^{\mathrm{T}}}\Delta \mathbf{x}\\ & =f(\mathbf{c})+(\nabla f(\mathbf{c}){)}^{\mathrm{T}}\Delta \mathbf{x}+\frac{1}{2}(\Delta \mathbf{x}{)}^{\mathrm{T}}\mathbf{H}(f(\mathbf{c}))\Delta \mathbf{x}\\ & =f(\mathbf{c})+(\nabla f(\mathbf{c}){)}^{\mathrm{T}}\Delta \mathbf{x}+\frac{1}{2}(\Delta \mathbf{x}{)}^{\mathrm{T}}{\nabla }^2(f(\mathbf{c}))\Delta \mathbf{x}\end{array}\text{\hspace{1em}(1.2)}$$

式中
$$\begin{array}{c}\nabla f(\mathbf{c})=\frac{\partial f(\mathbf{c})}{\partial \mathbf{c}}={\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}|}_{\mathbf{x}=\mathbf{c}}\\ {\nabla }^{2}f(\mathbf{c})=\mathbf{H}(f(\mathbf{c}))=\frac{{\partial }^{2}f(\mathbf{c})}{\partial \mathbf{c}\partial {\mathbf{c}}^{\mathrm{T}}}={\frac{{\partial }^{2}f(\mathbf{x})}{\partial \mathbf{x}\partial {\mathbf{x}}^{\mathrm{T}}}|}_{\mathbf{x}=\mathbf{c}}\end{array}$$

分别是函数 $f(x)$ 在点 $\mathbf{c}$ 的的梯度向量和 Hessian 矩阵。
将单变量函数的极值点的定义加以推广, 即可得到以实向量为变元的实值函数 $f(\mathbf{x})$的极小点的定义如下。(极大点类似)

定义 令标量 $r>0$, 并且 $\mathbf{x}=\mathbf{c}+\Delta \mathbf{x}$ 是向量空间 ${\mathbb{R}}^n$ 的子集合 $S$ 的点。若
$$f(c)⩽f(c+\Delta x)\forall 0<\Vert \Delta x{\Vert }_2⩽r;$$

则称点 $\mathbf{c}$ 是函数 $f(\mathbf{x})$ 的一个局部极小点。若
$$f(\mathbf{c})<f(\mathbf{c}+\Delta \mathbf{x})\forall 0<\Vert \Delta \mathbf{x}{\Vert }_2⩽r;$$

则称点 $\mathbf{c}$ 是函数 $f(\mathbf{x})$ 的一个严格局部极小点。若
$$f(\mathbf{c})⩽f(\mathbf{x})\forall \mathbf{x}\in S;$$

则称点 $\mathbf{c}$ 是函数 $f(\mathbf{x})$ 在定义域 $S$ 的一个全局极小点。若
$$f(c)<f(x)\forall x\in S,x\ne c$$

则称点 $\mathbf{c}$ 是函数 $f(\mathbf{x})$ 在定义域 $S$ 的一个严格全局极小点。

由式 (1.2) 易知, 在邻域 $B(c;r)$ 的一个足够小的内部区域 $\Vert \Delta x{\Vert }_2<\epsilon$, 二阶项可以忽略的情况下, 函数的一阶 Taylor 级数逼近为
$$f(\mathbf{c}+\Delta \mathbf{x})=f(\mathbf{c})+(\nabla f(\mathbf{c}){)}^{\mathrm{T}}\Delta \mathbf{x}+o(||\Delta \mathbf{x}||)$$
显然, 为了保证 $f(\mathbf{c})⩽f(\mathbf{c}+\Delta \mathbf{x})$ 对满足 $\Vert \Delta \mathbf{x}{\Vert }_2<\epsilon$ 的所有 $\Delta \mathbf{x}$ 恒成立, 必须选择

$$\nabla f(\mathbf{c})={\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}|}_{\mathbf{x}=\mathbf{c}}=0,\forall 0<\Vert \Delta \mathbf{x}{\Vert }_2<r$$
证明. 任取 $\Delta \mathbf{x}\in {\mathbb{R}}^n$, 考虑 $f$ 在点 $\mathbf{x}=\mathbf{c}$ 处的泰勒展开
$$f(\mathbf{c}+\Delta \mathbf{x})=f(\mathbf{c})+(\nabla f(\mathbf{c}){)}^{\mathrm{T}}\Delta \mathbf{x}+o(||\Delta \mathbf{x}||),$$

整理得
$$\frac{f\left(\mathbf{c}+\Delta \mathbf{x}\right)-f\left(\mathbf{c}\right)}{||\Delta \mathbf{x}||}=\frac{\Delta {\mathbf{x}}^{\mathrm{T}}\nabla f\left(\mathbf{c}\right)}{||\Delta \mathbf{x}||}+o(1).$$

根据 $\mathbf{c}$ 的最优性, 在上式中分别对 $||\Delta \mathbf{x}||$ 取点 0 处的极限可知
$$\begin{array}{rl}& \underset{||\Delta \mathbf{x}||\to 0^{+}}{\lim }\frac{f\left(\mathbf{c}+\Delta \mathbf{x}\right)-f\left(\mathbf{c}\right)}{||\Delta \mathbf{x}||}=\Delta {\mathbf{x}}^{\mathrm{T}}\nabla f\left(\mathbf{c}\right)⩾0,\end{array}$$

即对任意的 $\Delta \mathbf{x}$ 必有 $\Delta {\mathbf{x}}^{\mathrm{T}}\nabla f\left(\mathbf{c}\right)⩾0$, 由 $\Delta \mathbf{x}$ 的任意性知 $\nabla f\left(\mathbf{c}\right)=0$.

注意, 上面的条件仅仅是必要的. 对于 $f(x)=x^2,x\in \mathbb{R}$, 我们知道满足 $f^{\prime }(x)=0$ 的点为 $x^{\ast }=0$, 并且其也是全局最优解. 对于 $f(x)=x^3,x\in \mathbb{R}$,满足 $f^{\prime }(x)=0$ 的点为 $x^{\ast }=0$, 但其不是一个局部最优解. 实际上, 我们称满足 $\nabla f(x)=0$ 的点 $x$ 为 $f$ 的稳定点 (有时也称为驻点或临界点). 可以看出, 除了一阶必要条件, 还需要对函数加一些额外的限制条件, 才能保证最优解的充分性.

假设 $f$ 在点 $\mathbf{c}$ 的一个开邻域内是二阶连续可微的, 则以下最优性条件成立:（极大值同理）

二阶必要条件 如果 $\mathbf{c}$ 是 $f$ 的一个局部极小点, 那么必有
$$\nabla f\left(\mathbf{c}\right)=0,{\nabla }^{2}f\left(\mathbf{c}\right)⪰0;$$

二阶充分条件 如果在点$\mathbf{c}$ 处有
$$\nabla f\left(\mathbf{c}\right)=0,{\nabla }^{2}f\left(\mathbf{c}\right)\succ 0$$

成立, 那么 $\mathbf{c}$ 为 $f$ 的一个局部极小点.(且为严格极小值)

二阶充分条件 如果在点$\mathbf{c}$ 处有
$$\nabla f\left(\mathbf{c}\right)=0,\forall \mathbf{x}\in \text{dom}f{\nabla }^{2}f\left(\mathbf{x}\right)⪰0$$
成立, 那么 $\mathbf{c}$ 为 $f$ 的一个局部极小点.

证明.考虑 $f(\mathbf{x})$ 在点 $\mathbf{c}$ 处的二阶泰勒展开(1.2), 这里因为一阶必要条件成立, 所以 $\nabla f\left(\mathbf{c}\right)=0$. 反设 ${\nabla }^{2}f\left(\mathbf{c}\right)⪰0$ 不成立, 即 ${\nabla }^{2}f\left(\mathbf{c}\right)$ 有负的特征值. 取 $\Delta \mathbf{x}$ 为其负特征值 ${\lambda }_{-}$对应的特征向量, 通过对(1.2)式变形得到
$$\frac{f\left(\mathbf{c}+\Delta \mathbf{x}\right)-f\left(\mathbf{c}\right)}{\Vert \Delta \mathbf{x}{\Vert }^2}=\frac{1}{2}\frac{\Delta {\mathbf{x}}^{\mathrm{T}}}{\Vert \Delta \mathbf{x}\Vert }{\nabla }^{2}f\left(\mathbf{c}\right)\frac{\Delta \mathbf{x}}{\Vert \Delta \mathbf{x}\Vert }+o(1).$$

这里注意 $\frac{\Delta \mathbf{x}}{\Vert \Delta \mathbf{x}\Vert }$ 是 $\Delta \mathbf{x}$ 的单位化, 因此
$$\frac{f\left(\mathbf{c}+\Delta \mathbf{x}\right)-f\left(\mathbf{c}\right)}{\Vert \Delta \mathbf{x}{\Vert }^2}=\frac{1}{2}{\lambda }_{-}+o(1).$$

当 $\Vert \Delta \mathbf{x}\Vert$ 充分小时, $f\left(\mathbf{c}+\Delta \mathbf{x}\right)<f\left(\mathbf{c}\right)$, 这和点 $\mathbf{c}$ 的最优性矛盾. 因此二阶必要条件成立.

当 ${\nabla }^{2}f(\mathbf{c})\succ 0$ 时, 对任意的 $\Delta \mathbf{x}\ne 0$ 有 $\Delta {\mathbf{x}}^{\mathrm{T}}{\nabla }^{2}f\left(\mathbf{c}\right)\Delta \mathbf{x}⩾{\lambda }_{\text{min }}\Vert \Delta \mathbf{x}{\Vert }^2>0$, 这里 ${\lambda }_{\min }>0$ 是 ${\nabla }^{2}f\left(\mathbf{c}\right)$ 的最小特征值. 因此我们有
$$\frac{f\left(\mathbf{c}+\Delta \mathbf{x}\right)-f\left(\mathbf{c}\right)}{\Vert \Delta \mathbf{x}{\Vert }^2}⩾\frac{1}{2}{\lambda }_{\min }+o(1).$$

当 $\Vert \Delta \mathbf{x}\Vert$ 充分小时有 $f\left(\mathbf{c}+\Delta \mathbf{x}\right)⩾f\left(\mathbf{c}\right)$, 即二阶充分条件成立.

当$\nabla f\left(\mathbf{c}\right)=0,\forall \mathbf{x}\in \text{dom}f,{\nabla }^{2}f(\mathbf{x})⪰0$时，由泰勒展开
$$\begin{array}{rl}f(\mathbf{c}+\Delta \mathbf{x})& =f(\mathbf{c})+\frac{1}{2}\Delta {\mathbf{x}}^T{\nabla }^{2}f(\mathbf{c}+t\Delta \mathbf{x})\Delta \mathbf{x}t\in (0,1)\\ & \Updownarrow \\ f(\mathbf{c}+\Delta \mathbf{x})-f(\mathbf{c})& =\frac{1}{2}\Delta {\mathbf{x}}^T{\nabla }^{2}f(\mathbf{c}+t\Delta \mathbf{x})\Delta \mathbf{x}⩾0t\in (0,1)\end{array}$$
注意Hessian矩阵半正定仅是必要条件（除非在定义域上都半正定），并非充分条件,如 $y=x^2-y^3$ 在$(0,0)$处Hessian矩阵半正定，但并不是极小值（二次项在某一方向为0，后面的高阶小量的正负号影响了函数增量的正负）

由此得出如下结论：设点 $\bar{\mathbf{x}}$ 满足一阶最优性条件 (即 $\nabla f(\bar{\mathbf{x}})=0$ ),且该点处的海瑟矩阵 ${\nabla }^{2}f(\bar{\mathbf{x}})$ 不是半正定的, 那么 $\bar{\mathbf{x}}$ 不是一个局部极小点.进一步地, 如果海瑟矩阵 ${\nabla }^{2}f(\bar{\mathbf{x}})$ 既有正特征值又有负特征值, 我们称稳定点 $\bar{\mathbf{x}}$ 为一个鞍点. 事实上, 记 $d_1,d_2$ 为其正负特征值对应的特征向量, 那么对于任意充分小的 $t>0$, 我们都有 $f\left(\bar{\mathbf{x}}+t{\mathbf{d}}_1\right)>f(\bar{\mathbf{x}})$ 且 $f\left(\bar{\mathbf{x}}+t{\mathbf{d}}_2\right)<f(\bar{\mathbf{x}})$.

二.$\text{ 可微多变量函数 }f(\mathbf{X})\text{ 的极值点 }$

现在考虑以矩阵为变元的实值函数 $f(\mathbf{X}):{\mathbb{R}}^{m\times n}\to \mathbb{R}$ 。此时, 需要先通过向量化,将变元矩阵 $\mathbf{X}\in {\mathbb{R}}^{m\times n}$, 变成一个 $mn\times 1$ 向量 $\mathrm{vec}(\mathbf{X})$ 。
令 $S$ 是矩阵空间 ${\mathbb{R}}^{m\times n}$ 的一个子集合, 它是 $m\times n$ 矩阵变元 $\mathbf{X}$ 的定义域, 即 $\mathbf{X}\in S$ 。
函数 $f(\mathbf{X})$ 以点 $\mathrm{vec}(\mathbf{C})$ 为中心, $r$ 为半径的邻域记作 $B(\mathbf{C};r)$, 定义为
$$B(\mathbf{C};r)=\left\{\mathbf{X}\mid \mathbf{X}\in {\mathbb{R}}^{m\times n},\Vert \mathrm{vec}(\mathbf{X})-\mathrm{vec}(\mathbf{C}){\Vert }_2<r\right\}$$

于是, 函数 $f(\mathbf{X})$ 在点 $\mathbf{C}$ 的二阶 Taylor 级数逼近公式为
$$\begin{array}{rl}f(\mathbf{C}+\Delta \mathbf{X})=& f(\mathbf{C})+{\left(\frac{\partial f(\mathbf{C})}{\partial \mathrm{vec}(\mathbf{C})}\right)}^{\mathrm{T}}\mathrm{vec}(\Delta \mathbf{X})\\ & +\frac{1}{2}(\mathrm{vec}(\Delta \mathbf{X}){)}^{\mathrm{T}}\frac{{\partial }^{2}f(\mathbf{C})}{\partial \mathrm{vec}(\mathbf{C})\partial (\mathrm{vec}\mathbf{C}{)}^{\mathrm{T}}}\mathrm{vec}(\Delta \mathbf{X})\\ =& f(\mathbf{C})+{\left({\nabla }_{\mathrm{vec}}\mathbf{C}f(\mathbf{C})\right)}^{\mathrm{T}}\mathrm{vec}(\Delta \mathbf{X})\\ & +\frac{1}{2}(\mathrm{vec}(\Delta \mathbf{X}){)}^{\mathrm{T}}\mathbf{H}(f(\mathbf{C}))\mathrm{vec}(\Delta \mathbf{X})\end{array}$$

式中
$$\begin{array}{rl}{\nabla }_{\mathrm{vec}\mathbf{C}}f(\mathbf{C})& ={\frac{\partial f(\mathbf{X})}{\partial \mathrm{vec}(\mathbf{X})}|}_{\mathbf{X}=\mathbf{C}}\in {\mathbb{R}}^{mn}\\ \mathbf{H}(f(\mathbf{C}))& ={\frac{{\partial }^{2}f(\mathbf{X})}{\partial \mathrm{vec}(\mathbf{X})\partial (\mathrm{vec}\mathbf{X}{)}^{\mathrm{T}}}|}_{\mathbf{X}=\mathbf{C}}\in {\mathbb{R}}^{mn\times mn}\end{array}$$

分别是函数 $f(\mathbf{X})$ 在点 $\mathbf{C}$ 的梯度向量和 Hessian 矩阵。

类比上一小节即可得出相同的结论。

实变函数	$f(x):\mathbb{R}\to \mathbb{R}$	$f(\mathbf{x}):{\mathbb{R}}^n\to \mathbb{R}$	$f(\mathbf{X}):{\mathbb{R}}^{m\times n}\to \mathbb{R}$
平稳点	${\frac{\partial f(x)}{\partial x}|}_{x=c}=0$	${\frac{\partial f(\mathbf{x})}{\partial \mathbf{x}}|}_{\mathbf{x}=\mathbf{c}}=0\in {\mathbb{R}}^n$	${\frac{\partial f(\mathbf{X})}{\partial \mathbf{X}}|}_{\mathbf{X}=\mathbf{C}}={\mathbf{O}}_{m\times n}$
严格局部极小点	${\frac{{\partial }^{2}f(x)}{\partial x\partial x}|}_{x=c}>0$	${\frac{{\partial }^{2}f(\mathbf{x})}{\partial \mathbf{x}\partial {\mathbf{x}}^{\mathrm{T}}}|}_{\mathbf{x}=\mathbf{c}}\succ 0$	${\frac{{\partial }^{2}f(\mathbf{X})}{\partial \mathrm{vec}(\mathbf{X})\partial (\mathrm{vec}\mathbf{X}{)}^{\mathrm{T}}}|}_{\mathbf{X}=\mathbf{C}}\succ 0$
严格局部极大点	${\frac{{\partial }^{2}f(x)}{\partial x\partial x}|}_{x=c}<0$	${\frac{{\partial }^{2}f(\mathbf{x})}{\partial \mathbf{x}\partial {\mathbf{x}}^{\mathrm{T}}}|}_{\mathbf{x}=\mathbf{c}}\prec 0$	${\frac{{\partial }^{2}f(\mathbf{X})}{\partial \mathrm{vec}(\mathbf{X})\partial (\mathrm{vec}\mathbf{X}{)}^{\mathrm{T}}}|}_{\mathbf{X}=\mathbf{C}}\prec 0$
鞍 点	${\frac{{\partial }^{2}f(x)}{\partial x\partial x}|}_{x=c}$ 不定	${\frac{{\partial }^{2}f(\mathbf{x})}{\partial \mathbf{x}\partial {\mathbf{x}}^{\mathrm{T}}}|}_{\mathbf{x}=\mathbf{c}}$ 不定	${\frac{{\partial }^{2}f(\mathbf{X})}{\partial \mathrm{vec}(\mathbf{X})\partial (\mathrm{vec}\mathbf{X}{)}^{\mathrm{T}}}|}_{\mathbf{X}=\mathbf{C}}$ 不定

注意, 二阶最优性条件给出的仍然是关于局部最优性的判断. 对于给定点的全局最优性判断, 我们还需要借助实际问题的性质, 比如目标函数是凸的、非线性最小二乘问题中目标函数值为 0 等.

三.例

• 线性最小二乘问题

$$\underset{x\in {\mathbb{R}}^n}{\min }f(\mathbf{x})\stackrel{\text{ def }}{=}\frac{1}{2}\Vert \mathbf{b}-\mathbf{A}\mathbf{x}{\Vert }_2^2,$$

其中 $A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m$ 分别是给定的矩阵和向量. 易知 $f(\mathbf{x})$ 是可微且凸的。
$$\nabla f\left({\mathbf{x}}^{\ast }\right)={\mathbf{A}}^{\mathrm{T}}\left(\mathbf{A}{\mathbf{x}}^{\ast }-\mathbf{b}\right)=0$$

且
$${\nabla }^{2}f(\mathbf{x})=\mathbf{A}{\mathbf{A}}^{\mathrm{T}}⪰0,\forall \mathbf{x}\in \text{dom}f$$
因此，${\mathbf{x}}^{\ast }$ 为一个全局最优解

因此, 线性最小二乘问题本质上等于求解线性方程组。

• 罗杰斯特回归

  标签为正负1，$\sigma (x)=\frac{1}{1+\exp (-x)}$
  $$\begin{array}{rl}& \text{ 似然函数 }L(\mathbf{w})=\prod _{i=1}^N\sigma \left(y_i{\mathbf{w}}^{\top }{\mathbf{x}}_i\right)\\ & \text{损失函数}E(\mathbf{w})=-\ln L(\mathbf{w})=\sum _{i=1}^N\ln \sigma \left(y_i{\mathbf{w}}^{\top }{\mathbf{x}}_i\right)\\ & {\nabla }_{\mathbf{w}}E=\frac{dE(\mathbf{w})}{d\mathbf{w}}=-\sum _{i=1}^N\frac{d\ln \sigma }{d\mathbf{w}}\\ & =-\sum _{i=1}^v\left[\frac{d\ln \sigma }{d\sigma }\cdot \frac{d\sigma }{d\left[y_i{\mathbf{w}}^{\top }{\mathbf{x}}_i\right]}\cdot \frac{d\left[y_i{\mathbf{w}}^{\top }{\mathbf{x}}_i\right]}{d\mathbf{w}}\right]\\ & =-\sum _{i=1}^k\left[\frac{1}{\sigma }\cdot \sigma (1-\sigma )\cdot {\mathbf{x}}_i\cdot y_i\right]\\ & =\sum _{i=1}^N(\sigma -1){\mathbf{x}}_{\mathbf{i}}{y}_i\\ & =\sum _{i=1}^N\frac{-{\mathbf{x}}_i{y}_i}{1+e^{y_i{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i}}\\ & \\ & {\nabla }_{\mathbf{w}}^{2}E={\nabla }_{\mathbf{w}}(\sum _{i=1}^N(\sigma -1){\mathbf{x}}_{\mathbf{i}}{y}_i)\\ & =\sum _{i=1}^N\sigma (1-\sigma ){\mathbf{x}}_i\cdot {\mathbf{x}}_i^{\top }\ast y_i^2(y_i^2=1)\\ & =\sum _{i=1}^N\sigma (1-\sigma ){\mathbf{x}}_i\cdot {\mathbf{x}}_i^{\top }⪰0\end{array}$$
  因此罗杰斯特回归采用交叉熵作为损失函数（如果采用mse最后二阶导不亦一定半正定）