- 博客(3)
- 收藏
- 关注
RSS订阅
原创 数学优化入门：凸优化
做科研时，曾花了段时间学习凸优化，后来发现ML中其应用也非常普遍，想来今后可能还会接触，干脆做个系统的总结，方便以后查询。博文内容主要参考Boyd（Stanford）的Convex Optimization，配套的slides，以及部分网络材料，感兴趣的朋友可以一起学习探讨。1、前言凸优化，是数学最优化的一个子领域，研究定义于凸集中的凸函数最小化的问题。虽然条件苛刻，但应用广泛...
2016-10-18 11:10:50
36102
21
原创 数学优化入门：梯度下降法、牛顿法、共轭梯度法
1、基本概念1.1 方向导数1.2 梯度的概念 因此，对于一元函数，即y=f(x)，其梯度的方向总是指向x轴正方向或反方向，而大小即该点的导数。如果考虑z=f(x,y)描绘的是一座在点(x,y)的高度为f(x,y)的山。那么，某一点的梯度方向是在该点坡度最陡的方向，而梯度的大小告诉我们坡度到底有多陡。对于含有n个变量的标量函数，其梯度表示为 1.3 梯度与方...
2016-10-13 19:45:43
29582
8
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人