【深度之眼花书训练营第五期】第一周-数学基础-课程5

第一周-数学基础的学习大纲

1. 矩阵对角化，SVD分解以及应用
2. 逆矩阵，伪逆矩阵
3. PCA原理与推导
4. 极大似然估计，误差的高斯分布与最小二乘估计的等价性
5. 最优化，无约束，有约束，拉格朗日乘子的意义，KKT条件

课程3 有约束最优化

有约束，拉格朗日乘子的意义，KKT条件

经典拉格朗日乘子法是下面的优化问题（x是一个向量）：
min（z）f （x）
s.t.g(x) = 0
直观上理解，最优解x一定有这样的性质，以x是二维变量为例：

如上图所示，虚线即为f（x，y）的等高线，虚线所构成的椭圆越小表示值越小，既然我们的目标是最小化，那么即图中所有的箭头即往内部的方向。
但是此时引入了约束 g(x,y) =c ，在约束的条件下即使我们需要将箭头的方向尽力朝向等高线最小的方向，但是在约束条件即这条曲线的情况下，所以y必须在这条曲线上。因此可得箭头朝向的方向必须是和某一等高线相切的情况下才能获得最小。
这时我们可以引入拉格朗日函数：梯度f（x）= λ * 梯度g（x）； g（x） = 0
L（x， λ） = f（x） + λg（x）

上述是约束条件为等式的，下面为约束为不等式的条件：
实例为假设约束条件为g（x，y） <= 0 可得下面的图像：

如上图所示，一个约束，如果是一个等式的话在二维空间表示的话是一个曲线，如果是一个不等式则是一个在二维空间的范围。在不等式约束的条件下还有保持最小，那么最优点对x的梯度应为互为相反。公式如下，梯度f（x*，y*） = λ * 梯度g（x*，y*）；λ * 梯度g（x*，y*）= 0 。
由此可得KKT条件。KKT条件的本质是区分哪些约束是起作用的，哪些约束是不起作用的。
再次引入拉格朗日函数可得：
L = f（x）- λg（x）
𝜕L/ 𝜕x = 0 ； λg（x）= 0
min f（x）；gi（x）>= 0 (i = 1,2,3,…,n)

最后大家可以去看下图的一个例题。

本次课程的内容就分享到这里。后续将继续更新课程. . . .