最大熵学习笔记(五)最优化算法

   
       生活中我们经常听到人们说“不要把鸡蛋放到一个篮子里”,这样可以降低风险。深究一下,这是为什么呢?其实,这里边包含了所谓的最大熵原理(The Maximum Entropy Principle)。本文为一则读书笔记,将对最大熵原理以及由此导出的最大熵模型进行介绍,重点给出其中所涉及数学公式的理解和详细推导。


相关链接


最大熵学习笔记(零)目录和引言
最大熵学习笔记(一)预备知识
最大熵学习笔记(二)最大熵原理
最大熵学习笔记(三)最大熵模型
最大熵学习笔记(四)模型求解
最大熵学习笔记(五)最优化算法
最大熵学习笔记(六)优缺点分析



作者: peghoty 

出处: http://blog.csdn.net/itplus/article/details/26550369

欢迎转载/分享, 但请务必声明文章出处.


  • 21
    点赞
  • 34
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
最大熵模型是一种基于概率模型的分类方法,它通过最大化熵来学习模型参数。DFP算法(Davidon-Fletcher-Powell algorithm)是一种用于非线性优化的算法,可以用于最大熵模型学习。 DFP算法的核心思想是利用当前点处的函数值和梯度信息来构造一个二次模型,然后求解该模型的极小值点,更新当前点,并继续迭代。具体来说,DFP算法的步骤如下: 1. 初始化参数向量 $\theta_0$,计算其对应的函数值和梯度。 2. 利用函数值和梯度信息构造一个近似的Hessian矩阵 $H_k$。 3. 求解 $H_k p_k = -g_k$,其中 $p_k$ 是搜索方向,$g_k$ 是当前点处的梯度。 4. 计算步长 $\alpha_k$,使得 $f(\theta_k + \alpha_k p_k)$ 最小。 5. 更新参数向量 $\theta_{k+1} = \theta_k + \alpha_k p_k$,计算其对应的函数值和梯度。 6. 判断是否满足终止条件,若满足则停止迭代,否则返回第二步。 在最大熵模型中,我们需要求解的是一个带约束条件的最优化问题,可以采用拉格朗日乘子法将其转化为无约束条件的问题。然后,我们可以利用DFP算法求解无约束条件下的最优化问题,得到最大熵模型的参数向量。 需要注意的是,DFP算法的收敛性并不能得到保证,因此在实际应用中需要进行一些技巧性的处理,如设置合适的步长、更新Hessian矩阵等。同时,还可以采用其他的非线性优化算法来求解最大熵模型,如L-BFGS算法、牛顿法等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值