2020-10-08

最优化方法

上交 2020春 研究生课程 b站徐志钦

目标

1、认识/表达某类问题为凸优化问题
2、变成解决一定规模的问题
3、优化解分析

内容

1、凸集，凸函数，优化问题
2、例子以及应用
3、算法
课本《convex optimization》download

介绍	1、数学中表达优化问题 2、最小二乘和线性规划 3、凸优化 4、例子 5、非线性优化问题 6、解决：凸优化

1、数学中的优化问题

{（Zi，yi）${\}}_{i=1}^N$

h(z)=$\left(\sum _{j=1}^M{a}_j\sigma （w_{j}z+b_j）\right)$

σ（z）=max(0,z)

ReLU两层神经网络
目标：希望输出能与采样一致，尽量靠近

f₀(x) = $\frac{1}{N}$${\sum }_{j=1}^N(h(z_j)-y_j{)}^2$

x = {（a_j,w_j,b_i）${\}}_{j=1}^M$

设n=3M      min f₀(x)     $R^n$ $\to$R
限制subject to f_j（x）$\le$$b_j$   j=1,2,……，m

x : optimization 变量
f₀ ： 目标函数
f_i ： contrant function 限制条件
optimal solution    x* ： f₀ 最小，并且x满足限制条件
例子
资产组合：
    变量 ： 每个资产上的投资额
    限制 ： 预算 ，max/min， min return 最小回报
    目标 ： 最低风险
设备尺寸设计：
    变量 ： 长、宽
    限制 ： 工艺精度 ， 工程时间 ， 最大占用面积
    目标 ： 功耗最小
数据拟合：
    h（x) = ax+b
    变量 ： 参数
    限制 ： 参数范围 ， 先验知识（如：变量的某种范数大于某种数）
    目标 ： 拟合准确

2、解优化问题

一般优化问题：
 ①很难解
 ②长时间  解的最优性（次优解）
例外：
  ①least-square problam. 最小二乘问题
  ②线性规划
  ③凸优化问题

2.1、least-square problam

A $\in$ $R^{k\times n}$
k ： 样本数  n ： 特征数
x$\in$ $R^{k\times 1}$  变量
b$\in$ $R^{k\times 1}$  观测值
A=$（a_1,a_2,\dots \dots ,a_n）$