一些零碎的知识点

一些零碎的知识点

知识点一：Lagrange对偶性

参考李航老师的《统计学习方法》

• 原始问题

  给定凸优化问题
  $$\begin{array}{rl}\underset{x}{\min }& f(x)\\ s.t.& g_i(x)\le 0,i=1,\cdots ,m\\ & h_j(x)=0,j=1,\cdots ,n\end{array}$$

  其中 $f(x)$ 和 $g_i(x)$ 都是 ${\mathbb{R}}^n$ 上的连续可微的凸函数，约束函数 $h_j(x)$ 是 ${\mathbb{R}}^n$ 上的仿射函数。当 $f(x)$ 是二次函数，约束函数 $g_i(x)$和 $h_j(x)$ 是仿射函数时，上述问题称为凸二次规划问题。

  构造Lagrange函数
  $$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{g}_i(x)+\sum _{j=1}^n{\mu }_j{h}_j(x)$$
  其中，${\lambda }_i\ge 0,{\mu }_j$ 是拉格朗日乘子。

  则上述优化问题等价于
  $$\underset{x}{\min }\underset{\lambda \ge 0,\mu }{\max }L(x,\lambda ,\mu )$$
  事实上
  $$\begin{array}{rl}& \underset{x}{\min }\underset{\lambda \ge 0,\mu }{\max }L(x,\lambda ,\mu )\\ & =\underset{x}{\min }\left(f(x)+\underset{\lambda \ge 0,\mu }{\max }\left(\sum _{i=1}^m{\lambda }_i{g}_i(x)+\sum _{j=1}^n{\mu }_j{h}_j(x)\right)\right)\\ & =\underset{x}{\min }\left(f(x)+\{\begin{array}{ll}0,& g(x)\le 0,h(x)=0\\ \infty ,& otherwise\end{array}\right)\\ & =\underset{x}{\min }f(x)\\ & s.t.g_i(x)\le 0,i=1,\cdots ,m\\ & h_j(x)=0,j=1,\cdots ,n\end{array}$$

• 对偶问题

  原始问题是 (primary problem)：
  $$\underset{x}{\min }\underset{\lambda \ge 0,\mu }{\max }L(x,\lambda ,\mu )$$
  对偶问题 (duality problem) 是：
  $$\underset{\lambda \ge 0,\mu }{\max }\underset{x}{\min }L(x,\lambda ,\mu )$$

• 原始问题和对偶问题的关系

  定理1 (弱对偶性, weak duality)： 若原始问题和对偶问题都有最优值，则
  $$d^{\ast }=\underset{\lambda \ge 0,\mu }{\max }\underset{x}{\min }L(x,\lambda ,\mu )\le \underset{x}{\min }\underset{\lambda \ge 0,\mu }{\max }L(x,\lambda ,\mu )=p^{\ast }$$
  推论1： 设 $x^{\ast }$ 和 $({\lambda }^{\ast },{\mu }^{\ast })$ 分别是原始问题和对偶问题的可行解，并且 $d^{\ast }=p^{\ast }$，则 $x^{\ast }$ 和 $({\lambda }^{\ast },{\mu }^{\ast })$ 分别是原始问题和对偶问题的最优解。

  强对偶性 (strong duality)：
  $$p^{\ast }=d^{\ast }$$
  在强对偶成立的情况下，可以通过求解对偶问题来得到原始问题的解。

  强对偶性成立的性质

  设 $x^{\ast }$ 和 $({\lambda }^{\ast },{\mu }^{\ast })$ 分别是原始问题和对偶问题的最优解，则
  $$d^{\ast }=\underset{x}{\min }L(x,{\lambda }^{\ast },{\mu }^{\ast })\le L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })\le \underset{\lambda \ge 0,\mu }{\max }L(x^{\ast },\lambda ,\mu )=p^{\ast }$$
  结合强对偶性知
  $$p^{\ast }=d^{\ast }=L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })$$
  强对偶性成立的条件

  Slater 条件是指不等式约束条件是严格可行的，即存在 $x$ 满足：
  $$g_i(x)<0,i=1,\cdots ,m$$
  KKT条件：
  $$\begin{array}{r}{\nabla }_{x}f(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }{\nabla }_x{g}_i(x^{\ast })+\sum _{j=1}^n{\mu }_j^{\ast }{\nabla }_x{h}_j(x^{\ast })=0\\ (互补松弛条件){\lambda }_i^{\ast }{g}_i(x^{\ast })=0,i=1,\cdots ,m\\ g_i(x^{\ast })\le 0,i=1,\cdots ,m\\ {\lambda }_i^{\ast }\ge 0,i=1,\cdots ,m\\ h_i(x^{\ast })=0,j=1,\cdots ,n\end{array}$$
  定理2： 如果原始问题是凸优化问题，满足Slater条件，则存在 $x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }$，使 $x^{\ast }$ 和 $({\lambda }^{\ast },{\mu }^{\ast })$ 分别是原始问题和对偶问题的最优解，并且
  $$p^{\ast }=d^{\ast }=L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })$$
  定理4： 如果原始问题是凸优化问题，且满足Slater条件，则 $x^{\ast }$ 和 $({\lambda }^{\ast },{\mu }^{\ast })$ 分别是原始问题和对偶问题的最优解的充要条件是 $(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })$ 满足KKT条件。

  SVM中的强对偶性

  • SVM是一种凸二次规划问题

  • Slater条件在SVM中等价于存在超平面能将数据分隔开来

知识点二：多类别分类: 一对多 (one-vs-all)

例：有三种不同水果：桃，苹果，香蕉。
对桃取值为1，其他两类归于0，做模型进行训练。
对苹果取值为1，其他两类归于0，做模型进行训练。
对香蕉取值为1，其他两类归于0，做模型进行训练。
现在我们有了三个模型，可以对一个输入值进行判断分类，分类结果取出最大值的那个就是类别。

知识点三：特征映射

对于这样的非线性数据 (特征数n=2)，不能用直线将他们分开，可以尝试用形如
$${\theta }_0+{\theta }_1{x}^{(1)}+{\theta }_2{x}^{(2)}+{\theta }_3(x^{(1)}{)}^2+{\theta }_4{x}^{(1)}{x}^{(2)}+{\theta }_5(x^{(2)}{)}^2+...=0$$
的多项式函数曲线作为决策边界。为此，只需做特征映射，将$(x^{(1)}{)}^2,x^{(1)}{x}^{(2)},(x^{(2)}{)}^2,\cdots$ 作为新的特征。

def feature_mapping(x, y, power):
 """
 x, y: array
 power: 最高项次数
 -------
 Return: x^{p-i}y^{i}, p<=power 生成的DataFrame
 """
 df = pd.DataFrame({'x{}y{}'.format(p-i, i): 
                    np.power(x, p-i) * np.power(y, i) 
                    for p in range(power+1) for i in range(p+1)})
 return df