机器学习中的优化方法<一>

《机器学习中的优化方法》之一:梯度法/最速下降法

0、引言 机器学习中的优化问题

机器学习中的model,基本都会有一个object function。通过是最小化object function,来获得model的参数。

那么这里就用到了“优化方法”,而且多是“多变量优化”。多变量体现在参数多。

当然简单的模型可以得到解析解(例如线性回归,残差平方最小化),但是更多的模型是无法得到解析解的。

下图是:线性回归的参数估计问题,通过极大似然法导出了最小二乘法


机器学习的优化问题多数是“无约束优化问题”,即对自变量的范围、自变量的相关性等没有限制,每个自变量(参数)的作用域的实数空间R。

无约束优化问题的典型求解方法:

1、下降递推算法



2、 一维搜索


此处只介绍牛顿法。在机器学习中,这一步就是学习效率的确定,机器学习多处理成常数。

牛顿法(Newton)  



3、求多变量函数极值的基本下降法

3.1、最速下降法(梯度法) 


3.2、 Newton法


3.3、阻尼Newton法



参考:

1.http://book.douban.com/subject/1164411/



  • 0
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值