最优化问题
文章平均质量分 89
DASEason
https://github.com/qq547276542
展开
-
最优化问题基础框架学习
局部最优的充分和必要条件∇f(x∗)=0,∇2f(x∗)≻0(Hessian矩阵正定)⇒x∗为局部最优点\nabla f(x^*)=0, \quad \nabla^2 f(x^*)\succ 0 (Hessian矩阵正定) \quad \Rightarrow \quad x^*为局部最优点x∗为局部最优点⇒∇f(x∗)=0,∇2f(x∗)⪰0(Hessian矩阵半正定)x^*为局部最优点\qu原创 2017-09-26 17:00:49 · 2753 阅读 · 0 评论 -
与信息熵相关的概念梳理(条件熵/互信息/相对熵/交叉熵)
香农信息量信息量表示不确定性的大小。 信息量的单位是比特(bit)。香农信息量=log1p=−logp(以2为底)香农信息量=\log\frac{1}{p}=-\log p\quad(以2为底)上式中,p越小,则不确定性越大,包含的信息量就越多。比如32支球队,在无任何先验信息的前提下,用二分法猜冠军队伍,最多猜5次,那么信息量就是log132=5\log \frac{1}{32}=5。信息熵(En原创 2019-11-29 20:29:07 · 5703 阅读 · 1 评论 -
近端梯度法(Proximal Gradient Method, PG)
近端梯度法(Proximal Gradient Method ,PG)算法简介 近端梯度法是一种特殊的梯度下降方法,主要用于求解目标函数不可微的最优化问题。如果目标函数在某些点是不可微的,那么该点的梯度无法求解,传统的梯度下降法也就无法使用。PG算法的思想是,使用临近算子作为近似梯度,进行梯度下降。概念定义临近算子(proximity operator)proxf(x)=argminy∈Rnf(y原创 2017-10-16 17:10:21 · 31860 阅读 · 1 评论