最优化方法
上交 2020春 研究生课程 b站徐志钦
目标
1、认识/表达某类问题为凸优化问题
2、变成解决一定规模的问题
3、优化解分析
内容
1、凸集,凸函数,优化问题
2、例子以及应用
3、算法
课本《convex optimization》download
介绍 | 1、数学中表达优化问题 2、最小二乘和线性规划 3、凸优化 4、例子 5、非线性优化问题 6、解决:凸优化 |
---|---|
1、数学中的优化问题
{(Zi,yi) } i = 1 N \}^N_{i=1} }i=1N
h(z)= ( ∑ j = 1 M a j σ ( w j z + b j ) ) \displaystyle \left( \sum_{j=1}^M a_j σ(w_jz+b_j)\right) (j=1∑Majσ(wjz+bj))
σ(z)=max(0,z)
ReLU两层神经网络
目标:希望输出能与采样一致,尽量靠近
f0(x) = 1 N \frac1N N1 ∑ j = 1 N ( h ( z j ) − y j ) 2 \sum_{j=1}^N{(h(z_j)-y_j)^2} ∑j=1N(h(zj)−yj)2
x = {(aj,wj,bi) } j = 1 M \}^M_{j=1} }j=1M
设n=3M min f0(x)
R
n
R^n
Rn
→
\rightarrow
→R
限制subject to fj(x)
≤
\leq
≤
b
j
b_j
bj j=1,2,……,m
x : optimization 变量
f0 : 目标函数
fi : contrant function 限制条件
optimal solution x* : f0 最小,并且x满足限制条件
例子
资产组合:
变量 : 每个资产上的投资额
限制 : 预算 ,max/min, min return 最小回报
目标 : 最低风险
设备尺寸设计:
变量 : 长、宽
限制 : 工艺精度 , 工程时间 , 最大占用面积
目标 : 功耗最小
数据拟合:
h(x) = ax+b
变量 : 参数
限制 : 参数范围 , 先验知识(如:变量的某种范数大于某种数)
目标 : 拟合准确
2、解优化问题
一般优化问题:
①很难解
②长时间 解的最优性(次优解)
例外:
①least-square problam. 最小二乘问题
②线性规划
③凸优化问题
2.1、least-square problam
A
∈
\in
∈
R
k
×
n
R^{k\times n}
Rk×n
k : 样本数 n : 特征数
x
∈
\in
∈
R
k
×
1
R^{k\times 1}
Rk×1 变量
b
∈
\in
∈
R
k
×
1
R^{k\times 1}
Rk×1 观测值
A=
(
a
1
,
a
2
,
…
…
,
a
n
)
(a_1,a_2,……,a_n)
(a1,a2,……,an)