我们要找到一个 model function,通过调整它的参数,可以生成任何形状的函数,也就是说这个函数拥有无限的潜力。
我们的目标函数可能没有任何规律,如下图所示:
那么怎么样找到一个 model function,拥有成长为(通过调参)上图函数的潜力呢?
启动函数
接下来,假设我们能写出以下函数 - Hard Sigmoid:
通过叠加多个不同的 Hard Sigmoid 可以匹配到上图复杂函数:
上图叠加后不等于原图,但很直观。实际上这 5 条线叠加起来后,每到下一个台阶都会受到上一条 Hard Sigmoid 函数尾部常量的叠加,位置会产生偏移,但这是可以通过调整线条位置解决的。可以肯定的是,可以通过叠加多条 Hard Sigmoid 函数实现上图效果。
实际上除了 Hard Sigmoid 外,还有 Sigmoid、RELU 等等多种函数可以通过叠加实现任意函数,这种函数称为 “启动函数”。每一种函数都有明确表达式,比如 Sigmoid: