“学习笔记”之《算法导论》----第七部分----算法问题选编----第二十九章----线性规划

本人大四即将结束，于2018年12月18日购《算法导论》这本书，慢慢看，第一阶段先主要理解各个章节说的算法都是什么意思，书上的课后习题先不做，用得上什么算法我再详细学习。这是官方课后答案的链接。

放在开头：没有好的算法，坏的算法之说，重点是针对不同的情况，针对不同的数据，针对不同的需求，去选择算法，改良算法。我的数学功底不强，太难的公式我看不懂，太高深的思想我理解不了，我主要以应用为主，不以解释数学公式为主。

一般的线性规划问题是一个线性函数最小化或最大化的问题。还有约束条件，约束条件为等式，可以用拉格朗日乘子法去解决，约束条件为不等式，可一用KKT条件去解决。这都是现在很熟悉的方法了，SVM的推导过程就是个线性规划问题求解过程。这章没有去具体讲KKT，拉格朗日乘子法，它研究的是单纯性算法，是最古老的线性规划算法。

下面图展示的是一个非常简单的线性规划问题

标准型和松弛型

标准型：

对于上面这个图来说，如果求解问题是最大化，所有的约束都是小于号（除了对每个xi的约束是大于号），那么这就是个标准型。

松弛型：

约束条件处理一下，引入松弛变量s，s=b-a*x，并且s>=0。

松弛变量s又叫基本变量，剩余的就是非基本变量。   

最终的目的就是：让基本变量，非基本变量，都要满足非负，尽可能优化最大化的目标。

单纯形算法

为了使用单纯形算法解决线性规划问题，必须转换成松弛型。

整个过程有些复杂，但是思路倒是简单：把我们要最大化的式子改成这样的形式，常量-系数*xi，这样，由于xi必须为非负，我摩恩只需要将xi取0即可，最后的常量就是最大化的解

程序化

书中分为3段讲解

PIVOT：最核心的部分，内容是一次转动

SIMPLEX：主体部分，标准型的的线性规划作为输入，返回一个n维向量（最优解）

INITIALIZE-SIMPLEX：确定一个线性规划是否有可行解。

对偶性

原理好理解，但是我是很明白为什么原问题不求解，还要构造对偶问题去求解。。。

网上有这么一段话：对偶理论中应用最为广泛的就是拉格朗日对偶,它的基本思想就是把难处理的约束通过乘子移到目标函数上去,只在优化问题中保留容易处理的约束,从而得到原问题的一个松弛问题,而最优的松弛问题可通过以乘子为变量的对偶问题来求得。

后来联想起SVM的推导过程中，有将问题对偶化的过程，总的来说还是以将复杂问题简单化为目的。