【读书笔记】NeurIPS2018的两篇文章：The Tradeoffs of Large Scale Learning和Neural Ordinary Differential Equations

今天看了 NeurIPS 2018 上的两篇文章，一篇是获得 best paper 的 Neural Ordinary Differential Equations （陈天奇的文章），一篇是获经典论文奖的 The Tradeoffs of Large Scale Learning。

The Tradeoffs of Large Scale Learning

Bottou, Léon, and Olivier Bousquet. “The tradeoffs of large scale learning.” Advances in neural information processing systems. 2008.

Abstract

本文研究不同的近似优化算法对学习算法的影响。Small-scale learning problems 受到 approximation–estimation 的影响，Large-scale learning problems 受到优化算法计算复杂度的影响。

Motivation

计算复杂度在学习算法中的有重要的意义，但很少被提及。Valiant 强调一个问题是可学习的，如果一个算法能在多项式复杂度内解决它。但是这只是在统计意义上的解决。
本文发现近似优化算法完全可以满足学习要求，而且降低计算复杂度。

Approximate Optimization

Setup

优化算法优化的对象是
$$E(f)=\int l(f(x),y)dP(x,y)=E[l(f(x),y)]$$

也就是要求解
$$f^{\ast }=argmi{n}_{f}E[l(\hat{y},y)|x]$$

尽管$P(x,y)$未知，我们可以随机独立采样得到$n$个数据来做训练数据，定义经验误差
$$E_n(f)=\frac{1}{n}\sum _{i=1}^{n}l(f(x_i),y_i)=E_n[l(f(x_i),y_i$$