点击上方“小白学视觉”,选择加"星标"或“置顶”
重磅干货,第一时间送达
本文转自:视学算法
前几天听了林宙辰老师的一个报告,讲的是机器学习中的优化方法[1],做个笔记。推荐机器学习的人去听听。林老师的主页:https://zhouchenlin.github.io/zhouchenlin.github.io
机器学习是离不开优化方法的,Pedro Domingos这样概括机器学习和优化方法的关系:
“Machine learning=Representation+Optimization+Evaluation”
后面三项对应于三步:建立模型,求解模型,验证模型。
一、机器学习中的优化问题
首先介绍一下机器学习中常见的优化问题:
1.分类回归问题
很多的分类回归问题都可以写成问题(1)的一个特例,比如SVM,正则的logistic回归,多层感知器,线性回归,岭回归,Lasso问题等。
2.AdaBoost
通常数据的分类面可能是很复杂的,我们可以通过多个简单的线性分类器组合而成。
3.生成对抗网络
4.AutoML
自动超参数的选取,这是一个双层优化问题。
二、算法的阶数
根据所需要的信息,算法大概分为三种:零阶、一阶、二阶。
1、零阶:只涉及到
2、一阶:需要用到函数值
3、二阶:需要用到函数值
机器学习中,一阶用的是最广泛的。当然也不排除有零阶和二阶的,这适用于那些具有特殊结构的问题。
三、机器学习中的优化算法
1.基本模块:
通常的优化算法主要有以下几个模块,将这些模块以不同的方式组合一下就得到了不同的优化方法。
1、梯度下降:
2、临近算子:
3、对偶:当原问题不好解,或者计算量比较大,可以考虑对偶问题。
4、randomization:当问题(1)的
上面的四个模块在不同的拼接下就形成了很多现有的优化算法。
2.机器学习中的无约束优化算法
考虑无约束问题:
假设函数
梯度下降
共轭梯度
当目标函数是二次的时候,选出来的方向
拟牛顿
L-BFGS
上面说到的逆牛顿需要存储一个大的矩阵
临近梯度算法
考虑可分问题:
该算法需要假设对于g的proximal operator是容易计算的。
3.机器学习中的约束优化方法
考虑一般问题:
投影梯度方法
首先走一个梯度步,然后投影回去。
罚方法
通过罚参数将约束集放到目标函数上,其中
条件梯度
其中需要
ADMM
当约束是线性约束并且可分的时,可以采用ADMM,考虑问题:
对应的增广拉格朗日函数为:
ADMM算法交替的去更新增广拉格朗日函数中的三个变量:
如果对于
坐标下降方法
如果问题中的变量可以分为多块,比如:
这种情况下可以采取块坐标下降方法:本质上是交替极小的一个扩展。
4.大数据的处理
考虑如下形式的问题:
随机梯度
找到一个近似的方向
四、加速算法
通常情况下的加速策略都是利用内插和外推。
1.确定
Heavy ball
Nesterov
加速临近梯度
将Nesterov加速应用到了非光滑的可分问题(2)上:
2.随机
考虑问题:
我们可以用梯度方法:
接着我们采用最初的随机梯度方法:
这两个方法似乎都是一种极端,所以中间存在一种tradeoff。思考如何做到在降低variance的情况下计算量不要增长的太快。
SVRG
这个方法的思想就是,每隔一段时间算一次完整梯度,用这个信息去矫正每一步的随机梯度方向。
![](https://i-blog.csdnimg.cn/blog_migrate/65975e7800210e49fb089de224624f6f.jpeg)
Katyusha
这个方法是Nesterov加速和variance reduction的结合。(这个名字取得真是让人摸不着头脑,包括下面的Catalyst,还有一个方法SARAH)
![](https://i-blog.csdnimg.cn/blog_migrate/d3eb2d0a51e812a6e833b975ece8e422.jpeg)
Catalyst
注意到第三步,你可以使用任何一个可以计算的方法去求解第三步中的问题
![](https://i-blog.csdnimg.cn/blog_migrate/99a56db871dc271e0c986db3c9c20521.jpeg)
SPIDER
这个相对于SVRG方差更小。
![](https://i-blog.csdnimg.cn/blog_migrate/fb8957abcfe27b8a046bf28de2acef5e.jpeg)
五、展望
大规模优化的展望主要有这几点:
随机化
分布式
异步
learning based
Quantum
下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2:Python视觉实战项目52讲
在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。
下载3:OpenCV实战项目20讲
在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~