![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
最优化理论与优化算法
文章平均质量分 63
黄小猿
数学系的孩子,对人工智能有着极大的热情,让机器像人一样,学习提升,是挑战人类对大脑的认知底限,愿尽自己的绵薄之力,让这个世界更美好。
展开
-
深度学习中的常用优化算法
4 深度学习中的优化算法4.1 动量momentum4.2 AdaGrad4.3 RMSProp4.4 Adam4.5 几种算法的比较4 深度学习中的优化算法深度学习是目前非常火的一个研究领域,主要以研究神经网络为主,因为其复杂性,所以有很多问题需要处理,同时也衍生出了很多不同的优化算法,专门改善神经网络的训练,使得它能够在工业界使用。因此,本章收录了关...原创 2018-05-02 06:32:19 · 2789 阅读 · 0 评论 -
遗传算法python代码
import numpy as npimport matplotlib.pyplot as pltDNA_SIZE = 10 # DNA lengthPOP_SIZE = 100 # population sizeCROSS_RATE = 0.8 # mating probability (DNA crossover)MUTAT...原创 2018-05-02 20:26:01 · 2007 阅读 · 1 评论 -
最优化理论与凸优化到底是干嘛的?
凸优化的定义 1.1 凸优化 1.2 全局最优化与局部最优化Least-squares and linear programming(最小二乘与线性规划) 2.1 最小二乘 2.2 线性规划最优化方法的一般结构 1.优化的定义1.1 凸优化最优化问题目前在机器学习,数据挖掘等领域应用非常广泛,因为机器学习简单来说,主要做的就是优化问题,先初始化一下权重参数,然后利用优化方法来优化这个原创 2017-12-15 20:47:53 · 62648 阅读 · 1 评论 -
拟牛顿法公式推导以及python代码实现(二)-BFGS家族
目录BFGS 1.1BFGS公式推导 1.2 python实现L-BFGS 1.1 L-BFGS的完整推导1.BFGS 1.1BFGS公式推导BFGS是可以认为是由DFP算法推导出来的,上篇文章有详细的推导:(拟牛顿法公式推导以及python代码实现(一))目前BFGS被证明是最有效的拟牛顿优化方法。它的思想是根据我们已知的两个拟牛顿条件:关于Hess近似的:Bk+1sk=yk(1原创 2017-12-24 09:03:56 · 11618 阅读 · 3 评论 -
一维线搜索确定最优步长
目录一维搜索问题进退法确定搜索区间分割技术(0.618)减小搜索区间wolfe条件确定步长 4.1 梯度与函数下降的关系? 4.2 wolfe条件1.一维搜索问题一维线搜索,就是指单变量函数的最优化,它是专门针对单峰函数设计的:如上一篇文章所述,多变量函数中,迭代格式为:xk+1=xk+αkdkx_{k+1} = x_k + \alpha_k d_k其中的关键就在于找到合适的步长αk,原创 2017-12-17 17:09:26 · 20350 阅读 · 0 评论 -
拟牛顿法公式推导以及python代码实现(一)
目录拟牛顿法 1.1拟牛顿法的导出与优点 1.2 算法步骤与特点对称秩一校正公式DFP算法 3.1 DFP公式推导 3.2 要求解的问题 3.3 python实现1.拟牛顿法 1.1拟牛顿法的导出与优点在上一文中(牛顿法公式推导与python实现),谈到说牛顿法需要计算一个Hessian矩阵的逆,才能够迭代,但在实际工程中,计算如此大型的矩阵需要很大的计...原创 2017-12-22 19:11:16 · 13245 阅读 · 6 评论 -
DL 优化算法性能展示图
一般情况的收敛速度: 在鞍点处:原创 2018-04-28 11:04:10 · 607 阅读 · 0 评论