YumGo_ChuKing的博客

原创 有关定理的证明

凸分析有关定理的证明1 与凸集有关的定理ds1 与凸集有关的定理引理2.2 设III为任意的索引集，如果集合Xi⊂Rn,i∈IX_i\sub{\mathbb R}^n,i\in IXi​⊂Rn,i∈I是凸集，则集合X=∩i∈IXiX={\cap}_{i\in I}X_iX=∩i∈I​Xi​也是凸集。证明：设x1x_1x1​和x2x_2x2​是集合XXX中的任意两点，则x1∈Xix_1\in X_ix1​∈Xi​和x2∈Xix_2\in X_ix2​∈Xi​；因为XiX_iXi​是凸集，所以对于任意的

原创 ---范数

原创 凸集（Convex sets）

凸集（Convex sets）1 仿射集（affine sets）和凸集（convex sets）1.1 直线（lines）和线段（line segments）1.2 仿射集1 仿射集（affine sets）和凸集（convex sets）1.1 直线（lines）和线段（line segments）假如x1≠x2x_1\neq x_2x1​​=x2​是Rn{\bf R}^nRn上的两点，点y=θx1+(1−θ)x2y=\theta x_1 +\left( 1-\theta\right)x_2y=

原创 凸优化（概述）

凸优化（Convex optimization）凸优化的一般形式为：minimizef0(x)subject tofi(x)≤bi,i=1,...m,\begin{aligned}&\text{minimize}\quad f_0\left( x\right) \\&\text{subject to}\quad f_i\left( x\right)\leq b_i,\quad i=1,...m,\end{aligned}​minimizef0​(x)subject&n

原创 最小二乘问题和线性规划（未完结）

最小二乘问题和线性规划最小二乘和线性规划是凸优化的两个特殊子类。1、最小二乘问题如果一个优化问题没有约束并且目标函数是形式为

原创 矩阵求导公式

矩阵求导公式1、向量对向量求导2、标量对向量求导3、向量对标量求导为了解决矩阵向量求导的结果不唯一，我们引入求导布局。最基本的求导布局有两个：分子布局(numerator layout)和分母布局(denominator layout )。对于分子布局来说，我们求导结果的维度以分子为主，比如对于我们上面对标量求导的例子，结果的维度和分子的维度是一致的。对于分母布局来说，我们求导结果的维度以分母为主。但是一般来说我们会使用一种叫混合布局的思路，即如果是向量或者矩阵对标量求导，则使用分子布局为准，如果是标量