万能近似定理: 逼近任何函数的理论

我们要找到一个 model function，通过调整它的参数，可以生成任何形状的函数，也就是说这个函数拥有无限的潜力。

我们的目标函数可能没有任何规律，如下图所示：

那么怎么样找到一个 model function，拥有成长为（通过调参）上图函数的潜力呢？

启动函数

接下来，假设我们能写出以下函数 - Hard Sigmoid：

通过叠加多个不同的 Hard Sigmoid 可以匹配到上图复杂函数：

上图叠加后不等于原图，但很直观。实际上这 5 条线叠加起来后，每到下一个台阶都会受到上一条 Hard Sigmoid 函数尾部常量的叠加，位置会产生偏移，但这是可以通过调整线条位置解决的。可以肯定的是，可以通过叠加多条 Hard Sigmoid 函数实现上图效果。

实际上除了 Hard Sigmoid 外，还有 Sigmoid、RELU 等等多种函数可以通过叠加实现任意函数，这种函数称为 “启动函数”。每一种函数都有明确表达式，比如 Sigmoid：