线性规划
定义:研究线性约束条件下线性目标函数的极值问题的数学理论和方法(百度)
也就是说有几个线性约束条件,目标是对线性函数求极值。
基本模型结构:
目标函数z(决策变量x):
m
i
n
z
=
f
(
x
)
min \quad z=f(x)
minz=f(x)
约束条件(包含函数约束和决策变量的非负约束):
s
.
t
.
g
i
(
x
)
≤
0
s.t.\quad g_i(x)\leq0
s.t.gi(x)≤0
例如:
某厂用钢和橡胶生产三种产品A,B,C,有关资料如下:
产品 | 单位产品钢消耗量 | 单位产品橡胶消耗量 | 单位产品利润 |
---|---|---|---|
A | 2 | 3 | 40 |
B | 3 | 3 | 45 |
C | 1 | 2 | 24 |
已知每天可获得100单位的钢和120单位橡胶,问每天A、B、C各产多少可以是总利润最大?
设A,B,C分别产
x
1
,
x
2
,
x
3
x_1,x_2,x_3
x1,x2,x3
模型如下:
m
a
x
z
=
40
x
1
+
45
x
2
+
24
x
3
max\quad z=40x_1+45x_2+24x_3
maxz=40x1+45x2+24x3
s
.
t
.
{
2
x
1
+
3
x
2
+
x
3
≤
100
3
x
1
+
3
x
2
+
2
x
3
≤
120
x
i
≥
0
,
i
=
1
,
2
,
3
s.t.\quad \begin{cases} & 2x_1+3x_2+x_3\leq100 \\ & 3x_1+3x_2+2x_3\leq 120\\ & x_i\geq 0,i=1,2,3 \end{cases}
s.t.⎩⎪⎨⎪⎧2x1+3x2+x3≤1003x1+3x2+2x3≤120xi≥0,i=1,2,3
对于线性规划模型我们可以用矩阵描述如下:
m
i
n
Z
⃗
=
C
⃗
X
⃗
min \vec{Z}=\vec{C}\vec{X}
minZ=CX
s
.
t
.
{
A
⃗
X
⃗
≤
b
X
⃗
≥
0
s.t.\quad \begin{cases} & \vec{A}\vec{X}\leq b \\ &\vec{X}\geq 0\\ \end{cases}
s.t.{AX≤bX≥0
其解法包括图解法,单纯性解法(先要转化为标准型)等等。
线性回归
给定数据集
D
=
{
(
x
1
⃗
,
y
1
⃗
)
,
(
x
2
⃗
,
y
2
⃗
)
,
(
x
3
⃗
,
y
3
⃗
)
.
.
.
}
D=\{ (\vec{x_1},\vec{y_1}),(\vec{x_2},\vec{y_2}),(\vec{x_3},\vec{y_3})...\}
D={(x1,y1),(x2,y2),(x3,y3)...}样本
x
i
⃗
=
(
x
i
,
1
,
x
i
,
2
,
.
.
,
x
i
,
n
)
T
\vec{x_i}=(x_{i,1},x_{i,2},..,x_{i,n})^T
xi=(xi,1,xi,2,..,xi,n)T,线性模型的形式为:
f
(
x
⃗
)
=
w
⃗
x
⃗
+
b
f(\vec{x})=\vec{w}\vec{x}+b
f(x)=wx+b
损失函数可以表示为:
L
(
f
)
=
∑
i
N
(
w
⃗
x
i
⃗
+
b
−
y
i
)
L(f)=\sum_i^N(\vec{w}\vec{x_i}+b-y_i)
L(f)=i∑N(wxi+b−yi)
求解方法可以使用梯度下降和最小二乘法