博客专栏  >  综合   >  优化算法

优化算法

常用的优化算法概述以及实现,这些优化算法包括基于梯度的优化,如GD,newton。还包括一些启发式的优化算法,如GA,ABC,PSO等

关注
48 已关注
14篇博文
  • 优化算法——坐标上升法

    一、坐标上升法算法原理坐标上升法(Coordinate Ascent)每次通过更新函数中的一维,通过多次的迭代以达到优化函数的目的。假设需要求解的优化问题的具体形式如下:maxαW(α1,α2,⋯,α...

    2016-04-06 15:00
    4141
  • 优化算法——OWL-QN

    一、L1正则 二、OWL-QN算法的思想 三、算法实现

    2015-09-07 09:17
    3567
  • 优化算法——截断梯度法(TG)

    一、带约束的优化问题 二、截断梯度法的思想

    2015-08-28 00:05
    2876
  • 优化算法——拟牛顿法之L-BFGS算法

    一、BFGS算法     在“优化算法——拟牛顿法之BFGS算法”中,我们得到了BFGS算法的校正公式: 利用Sherman-Morrison公式可对上式进行变换,得到 令,则...

    2015-06-06 17:39
    3463
  • 优化算法——拟牛顿法之BFGS算法

    一、BFGS算法简介     BFGS算法是使用较多的一种拟牛顿方法,是由Broyden,Fletcher,Goldfarb,Shanno四个人分别提出的,故称为BFGS校正。     同DFP校...

    2015-05-20 11:31
    6540
  • 优化算法——拟牛顿法之DFP算法

    一、牛顿法     在博文“优化算法——牛顿法(Newton Method)”中介绍了牛顿法的思路,牛顿法具有二阶收敛性,相比较最速下降法,收敛的速度更快。在牛顿法中使用到了函数的二阶导数的信息,对...

    2015-05-19 22:11
    3709
  • 优化算法——遗传算法

    与遗传算法的第一次接触 遗传算法的基本概念 基本定义 遗传算法的基本流程 遗传算法过程中的具体操作 参数的编码 二进制编码 Gray编码 实数编码 有序编码 初始群体的设定 适应度函数的计算 遗传操作...

    2015-05-10 17:09
    4616
  • 优化算法——模拟退火算法

    模拟退火算法原理 模拟退火算法 模拟退火算法过程 模拟退火算法流程 模拟退火算法的Java实现 Java代码 最后的结果模拟退火算法原理爬山法是一种贪婪的方法,对于一个优化问题,其大致图像(图像地址)...

    2015-04-30 15:55
    7083
  • 优化算法——凸优化的概述

    一、引言    在机器学习问题中,很多的算法归根到底就是在求解一个优化问题,然而我们的现实生活中也存在着很多的优化问题,例如道路上最优路径的选择,商品买卖中的最大利润的获取这些都是最优化的典型例子,...

    2015-03-02 15:45
    4327
  • 优化算法——差分进化算法(DE)

    一、差分进化算法的介绍

    2014-11-18 16:33
    8553
  • 优化算法——牛顿法(Newton Method)

    一、牛顿法概述

    2014-11-13 22:00
    10170
  • 优化算法——粒子群算法(PSO)

    一、粒子群算法的概述 二、粒子群算法的流程

    2014-06-11 13:48
    10585
  • 优化算法——人工蜂群算法(ABC)

    一、人工蜂群算法的介绍 二、人工蜂群算法的原理

    2014-05-18 21:06
    18595
  • 优化算法——梯度下降法

    最近一直在看机器学习的材料,归纳起来就是把一个学习的问题转化为优化的问题,机器学习算法的本质就是如何对问题抽象建模,使一个学习的问题变为一个优化的问题。 优化的算法有很多种,从最基本的梯度下降法到现在...

    2014-01-10 17:18
    9832
img博客搬家
img撰写博客
img专家申请
img意见反馈
img返回顶部