“线性” 定义: 对“乘”、“加”运算 闭合。 作用: 非线性很难形式化,但却是深度学习的 核心竞争力 。正是由于网络中强大的非线性因素,我们得以 深度地抽象出 特征。非线性函数只存在于 激活函数 和 pooling 。 Note: 假若网络中全部是线性部件,那么线性的组合 其实还是线性,与单独一个线性分类器无异。这样就无法组合成复杂的函数来逼近任意函数。