数值优化
数值优化方法积累、总结对比
一只干巴巴的海绵
这个作者很懒,什么都没留下…
展开
-
【DL】深度学习优化方法:SGD、SGDM、Adagrad、RMSProp、Adam
Gradient Descent1. 算法框架2. 理论原理假设参数θ\thetaθ是二维的,损失函数在(a,b)(a,b)(a,b)处的一阶泰勒展开,L(θ)=L(a,b)+∂L(a,b)∂θ1(θ1−a)+∂L(a,b)∂θ2(θ2−b)+o(θ1−a)+o(θ2−b)L(\theta)=L(a,b)+\frac{\partial L(a,b)}{\partial \theta_1}...原创 2020-04-29 20:26:28 · 2706 阅读 · 0 评论 -
优化问题的最优性条件与拉格朗日对偶
无约束优化问题最优性条件;约束优化问题最优性条件(KKT条件)。拉格朗日对偶:对偶问题是凸优化问题;对偶问题的几何解释;强对偶等价于KKT条件,凸优化+Slater—>强对偶。原创 2020-04-10 22:08:55 · 817 阅读 · 0 评论 -
序列最小最优化算法SMO:求解支持向量机
序列最小最优化算法 支持向量机的学习问题可以转化为求解凸二次规划问题minα12∑i=1n∑j=1nαiαjyiyjK(xi,xj)−∑i=1nαis.t.∑i=1nαiyi=0,0≤αi≤C,i=1,2,...,n(1)\begin{aligned}&\min_\alpha\quad \frac{1}{2}\sum_{i=1}^n\sum_{j=1}^n\alpha_i\alp...原创 2020-04-10 20:30:33 · 371 阅读 · 0 评论 -
【ML】线性回归及梯度下降法
线性回归模型:参数估计推导,梯度下降求解原创 2020-03-04 18:35:47 · 250 阅读 · 0 评论