【源码】机器学习中的投影牛顿型方法

机器学习中的投影牛顿型方法

我们考虑用于解决机器学习及相关领域中出现的大规模优化问题的投影牛顿型方法。

We consider projected Newton-type methodsfor solving large-scale optimization problems arising in machine learning andrelated fields.

我们首先通过回顾经典的投影（拟）牛顿方法，介绍了投影牛顿型算法框架。

We first introduce an algorithmic frameworkfor projected Newton-type methods by reviewing a canonical projected (quasi-)Newton method.

该方法虽然在概念上令人满意，但每次迭代具有较高的计算成本。

This method, while conceptually pleasing,has a high computation cost per iteration.

因此，我们讨论两种更具伸缩性的衍生算法，即二度量投影和非精确投影方法。

Thus, we discuss two variants that are morescalable, namely, two-metric projection and inexact projection methods.

最后，我们展示了如何应用牛顿型框架来处理非平滑目标。

Finally, we show how to apply theNewton-type framework to handle non-smooth objectives.

本文中提供例子来说明我们设计的框架在机器学习上的应用。

Examples are provided throughout thechapter to illustrate machine learning applications of our framework.

我们研究了求解优化问题的牛顿型方法。

We study Newton-type methods for solvingthe optimization problem.

……

与本文相关的一个英文网站供参考：

https://www.cs.ubc.ca/~schmidtm/Software/thesis.html

下载英文原文地址：

http://page2.dfpan.com/fs/8l0cfj9212e1a229160/

更多精彩文章请关注微信号：