线性规划和线性回归

线性规划

定义：研究线性约束条件下线性目标函数的极值问题的数学理论和方法（百度）
也就是说有几个线性约束条件，目标是对线性函数求极值。
基本模型结构：
目标函数z（决策变量x）：$$minz=f(x)$$
约束条件（包含函数约束和决策变量的非负约束）：
$$s.t.g_i(x)\le 0$$
例如：
某厂用钢和橡胶生产三种产品A,B,C,有关资料如下：

产品	单位产品钢消耗量	单位产品橡胶消耗量	单位产品利润
A	2	3	40
B	3	3	45
C	1	2	24

已知每天可获得100单位的钢和120单位橡胶，问每天A、B、C各产多少可以是总利润最大？
设A，B，C分别产$x_1，x_2，x_3$
模型如下：
$maxz=40x_1+45x_2+24x_3$
$s.t.\{\begin{array}{ll}& 2x_1+3x_2+x_3\le 100\\ & 3x_1+3x_2+2x_3\le 120\\ & x_i\ge 0，i=1,2,3\end{array}$
对于线性规划模型我们可以用矩阵描述如下：
$min\vec{Z}=\vec{C}\vec{X}$
$s.t.\{\begin{array}{ll}& \vec{A}\vec{X}\le b\\ & \vec{X}\ge 0\end{array}$
其解法包括图解法，单纯性解法(先要转化为标准型)等等。

线性回归

给定数据集 D = { ( x 1 ⃗ , y 1 ⃗ ) , ( x 2 ⃗ , y 2 ⃗ ) , ( x 3 ⃗ , y 3 ⃗ ) . . . } D=\{ (\vec{x_1},\vec{y_1}),(\vec{x_2},\vec{y_2}),(\vec{x_3},\vec{y_3})...\} D={(x1​ ​,y1​ ​),(x2​ ​,y2​ ​),(x3​ ​,y3​ ​)...}样本$\overrightarrow{x_i}=(x_{i,1},x_{i,2},..,x_{i,n}{)}^T$，线性模型的形式为：
$$f(\vec{x})=\vec{w}\vec{x}+b$$
损失函数可以表示为：
$$L(f)=\sum _i^N(\vec{w}\overrightarrow{x_i}+b-y_i)$$
求解方法可以使用梯度下降和最小二乘法